Flume-ng数据连接kafka

版权声明:本博客所有文章均为原创,如有转载,请注明原文地址,谢谢!----桃花惜春风 https://blog.csdn.net/xiaoyu_BD/article/details/52268519

本文介绍一些关于kafka有关的数据交互。

Flume+kafka

1. 安装Flume

安装包:  apache-flume-1.6.0-bin

安装过程这里不予说明,详见《Flume-ng安装.pdf

2. 安装kafka

安装包:  kafka_2.11-0.9.0.0

安装过程这里不予说明,详见《kafka集群安装.pdf》

3. 下载插件包

下载地址:https://github.com/beyondj2ee/flumeng-kafka-plugin

包名: flumeng-kafka-plugin-master.zip

4. 修改配置文件

提取插件中的flume-conf.properties文件

修改该文件:

#source section

producer.sources.s.type = exec

producer.sources.s.command = tail -f -n+1 /app/data/flume/test.log

producer.sources.s.channels = c

 

producer.sinks.r.custom.topic.name=test2

 

consumer.sources.s.zookeeper.connect=127.0.0.1:42182

consumer.sources.s.custom.topic.name=test2

红色部分可根据实际情况自行修改

将改后的配置文件放进flume/conf目录下。

5. 添加jar

插件libs目录下

 

插件package目录下

 

如果是flume1.6.0版本还需要添加kafka项目libs目录中的

kafka-clients-0.9.0.0.jar

把以上jar包全部添加到flume的libs目录下。

6. 启动

先启动zookeeper

zkServer.sh  start        (注意启动目录生成out文件)

 

启动kafka

bin/kafka-server-start.sh -daemon config/server.properties &

 

最后再启动flume

nohup bin/flume-ng agent --conf conf --conf-file conf/flume.conf.properties--name producer -Dflume.root.logger=INFO,console &

7. 测试

echo aaaaaaaaaaaaaaaa” 〉〉/app/data/flume/test.log

查看kafka消费信息

bin/kafka-console-consumer.sh --zookeeper localhost:42182 --topic test2 --from-beginning

展开阅读全文

没有更多推荐了,返回首页