爱哭的小孩TnT-CSDN博客

原创【hive】中各类join的使用

以下示例均是在hive中进行操作创建表 t1：create table a(id int,name string)row format delimitedfields terminated by ',';构造数据：1,zs2,ls3,ww加载数据到表t1：load data local inpath '/root/a.dat' into table a; 创建...

2019-01-27 11:30:16 392

原创【hive】笔记

1.什么是Hivehive是一个sql工具；它能接收用户输入的sql语句，然后把它翻译成mapreduce程序对HDFS上的数据进行查询、运算，并返回结果，或将结果存入HDFS；2.Hive的关键工作机制核心点：HIVE利用HDFS来存储数据文件；利用MAPREDUCE来做数据分析运算；利用SQL来为用户提供查询接口；3.Hive怎么用3.1 Hive的...

2019-01-26 17:45:09 166

原创【flume】数据采集

利用flume将数据采集到hdfs中。在这里使用nginx来解决flume采集数据时的单点故障问题。1.代码：https://blog.csdn.net/weixin_39227099/article/details/865847112.启动nginx：sbin/nginx如下图表示启动成功3.启动hdfs：start-hdp.all.sh 我这里使用的是自...

2019-01-22 10:38:47 350

原创【flume】自定义source

1.java代码package cn.eud360.flume.source;import org.apache.commons.io.FileUtils;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.EventDrivenSource;import or...

2019-01-21 21:39:31 758

原创【nginx】安装

1.首先下载nginx安装包 http://nginx.org/en/download.html2.上传nginx安装包到你的虚拟机上。解压nginx 【tar -zxvf nginx-1.14.2.tar.gz -C /usr/local/src】3.进入nginx的源码目录 cd /usr/local/src/nginx-1.14.24.预编译 ./co...

2019-01-21 20:02:12 134

原创 protobuf【protocol buffers】详解

一、什么是protocol buffers 简称：protobuf Protocol buffers是一个灵活的、高效的、自动化的用于对结构化数据进行序列化的协议，与XML相比，Protocol buffers序列化后的码流更小、速度更快、操作更简单。你只需要将要被序列化的数据结构定义一次(译注：使用.proto文件定义)，便可以使用特别生成的源代码(译注：使用protobuf提供的...

2019-01-15 12:05:36 1583

转载 ZMQ模式详解——发布/订阅模式

本文转载 https://blog.csdn.net/yahohi/article/details/76231389发布/订阅模式详解特点：1.一个发布者，多个订阅者的关系，1：n； 2.当发布者数据变化时发布数据，所有订阅者均能够接收到数据并处理。这就是发布/订阅模式。 1. PUB-SUB模式是异步的订阅者调用zmq_send()来发送消息是会报错的，同样发...

2019-01-14 21:18:22 3355

原创【flume】搭建

flume的搭建1.在官网下载对应的flume版本，我这里下载的是1.8的http://flume.apache.org/ 2.将下载好的安装包上传至机器上，并解压至指定的目录3.进入解压好的目录下的conf目录下，修改配置文件。指定你安装的jdk的安装目录，这里的安装目录是我自己jdk的安装目录。至此flume安装完成，想要测试可以去官网按照对应的fl...

2019-01-04 10:57:38 267

原创【zookeeper】集群的搭建

搭建集群：1.首先搭建集群的前提必须保证各个机器上的时间同步。 date -s 2018/06/26 date -s 11:01:002.下载zookeeper压缩包上传至指定的机器上并解压缩至指定目录。官网：http://zookeeper.apache.org/releases.html3.修改zookeeper安装目录conf目录下的zoo_sample...

2018-12-26 17:00:05 130

原创 RocketMQ与Kafka的对比

一、数据可靠性 RocketMQ支持异步实时刷盘，同步刷盘，同步Replication，异步ReplicationKafka使用异步刷盘方式，异步Replication 总结：RocketMQ的同步刷盘在单机可靠性上比Kafka更高，不会因为操作系统Crash，导致数据丢失。同时同步Replication也比Kafka异步Replication更可靠，数据完全无...

2018-12-25 21:59:49 702 1

原创【kafka】中配置参数的说明

kafka配置文件中的参数说明： broker.id 整数，建议根据ip区分 log.dirs kafka存放消息文件的路径，默认/tmp/kafka-logs port broker用于接收producer消息的端口 ...

2018-12-25 21:31:35 380

原创【kafka】集群的搭建

【kafka】集群的搭建一、下载安装kafka下载地址：http://kafka.apache.org/downloads选择与安装的scala版本匹配的kafka版本，我的scala版本是2.11。二、将下载好的压缩包上传到需要安装kafka的机器上，并解压缩至指定的目录下。# tar -zxvf kafka_2.11-0.10.2.1.tgz -C apps/...

2018-12-25 21:28:44 212

原创【redis】的安装

如何正确安装【redis】一、首先下载redis上传到指定的linux虚拟机上。官网地址：http://redis.io/下载地址：http://download.redis.io/releases/redis-3.2.8.tar.gz二、解压redis压缩包至指定路径[root@xxx~]# tar -zxvf redis-3.2.8.tar.gz -C apps/三...

2018-12-25 21:11:05 143

原创初学者【 Cannot start process, the working directory 'E:\sparksql33\sparksql3】

在对程序进行编译时出现Cannot start process, the working directory 'E:\sparksql33\sparksql3解决办法：1.点击导航栏 run----> Edit configurations。然后点击Application，在Configuration右边会显示Working directory，删除或者设置成合适dircotry就可...

2018-12-14 19:36:44 550

转载【IntelliJ IDEA】设置自动导入maven的依赖jar包

第一种方式：File → Settings → Importing → Import Maven projects automatically → OK备注：这种方式设置方式是临时的，新建项目，则设置会失效，如需全局设置。请按照以下方式设置。第二种方式：File → Other Settings → Default Settings → Importing → Import Mav...

2018-11-14 10:58:28 22711 8

原创 Maven下载，环境变量配置，如何利用IDEA创建与scala语言有关的Maven工程的详细介绍

一、maven下载地址：https://maven.apache.org/1.选择download 2.下载安装，选择安装目录，我的是D:\maven\apache-maven-3.5.4二、环境变量配置1.maven下载安装成功后，进入我的电脑--->系统属性--->高级系统设置2.点击环境变量，然后在系统变量中点击新建变量名为MAVEN_HO...

2018-07-29 00:16:16 300

~爱哭的小孩TnT~