1.在集群上先启动kafka以及zookeeper
2.进行kafka与flume整合 博主经过好几个小时的研究,最终才整合成功,主要原因在于flume 和kafka有的存在版本冲突,如果你按照我下面的两个版本进行整合,将不会出错,其他版本不保证!安装教程,查看博主的kafka和flume安装步骤即可。
kafka版本为 kafka_2.11-0.8.2.2.tgz, 链接:https://pan.baidu.com/s/1nuW7-ZXvCRJKLLlDm-CpLg
提取码:n98u
flume版本为 apache-flume-1.6.0-bin.tar.gz 链接:https://pan.baidu.com/s/1itiTPysWgE-_kYfVbumfww
提取码:dzzl
3.先看一下集群以及会话窗口
上面一共打开了三个集群,分别为mini1,mini2,mini3 但是打开了9个会话窗口,可以将会话窗口的名称进行修改,方便自己观看
1 data-Source ---log 对应 mini1 集群
2 flume 对应 mini1 集群
3 kafka1 对应 mini1 集群
4 kafka2 对应 mini2 集群
5 kafka3 对应 mini3 集群
6 consumer 对应 mini1 集群
7 storm1 对应 mini1集群
8 storm2 对应 mini2 集群
9 storm3 对应 mini3 集群
4.原理
flume 是一个日志采集框架,kafka是个消息队列,分为生产者,topic,消费者,storm是个计算框架
flume采集到的日志放入到kafka的生产者队列中,由storm进行消费,对它进行计算
5.步骤
1,准备日志数据
2.由flume进行采集
3.flume与kafka进行连接
根据上面步骤,我们现在进行具体操作
1,准备日志数据
可以在data-Source ---log 对应 mini1 集群 下进行操作
1)在log日志目录下新建一个1.log日志,然后写一个for循环动态生成几万条数据放到1.log日志中
2)写for循环脚本 生产数据放到1.log日志中 for循环脚本的文件命名为 click_log_out.sh ,该脚本我存放在flume/conf/myconf目录下:
脚本代码如下:
for((i=0;i<=500000;i++));
do echo "message-"+$i >> /home/hadoop/log/1.log;
done
3)启动脚本 往1.log日志中存放数据 命令如下:
sh click_log_out.sh /home/hadoop/log/1.log
2.由flume进行采集
可以在flume会话窗口进行操作 对应 mini1 集群
由图片可以看到:flume采集日志数据时,分为Source,Channel,Sink三部分,Source负责获取日志数据,Channel是一个管道,用来传输数据,Sink是传输目的地,用来指定他的对接口是谁,这里Sink对接的是Kafka的topic
1)根据上图可知,现在编写配置文件,用来指定flume到kafka连接的路径 配置文件内容如下:配置文件名为:exec.conf, 也是存放在flume/conf/myconf目录下
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/log/1.log
a1.sources.r1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
a1.sinks.k1.type =org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic=orderMq
a1.sinks.k1.brokerList=mini1:9092
a1.sinks.k1.requiredAcks=1
a1.sinks.k1.batchSize=20
a1.sinks.k1.channel=c1
3.flume与kafka进行连接
1)配置文件准备好之后,启动配置文件,就可以将flume与kafka进行连接,将日志数据传给生产者,启动命令如下:
bin/flume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,console
启动成功之后,就可以看到连接成功,数据已传给生产者。如果没有使用上述版本,一般在这块会报错。
4.启动kafka的消费者窗口,查看效果
启动命令为:
sh bin/kafka-console-consumer.sh --zookeeper mini1:2181 --from-beginning --topic orderMq