![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 62
Cheengvho
这个作者很懒,什么都没留下…
展开
-
Flume将日志log文件从本地导入kafka,再从kafka导入HDFS。(以Kafka在两个文件中分别作为Source和Sink)
kafka-in.conf文件(在/etc/flume-ng/conf文件夹下)#文件从本地路径到kafka配置文件##-----------------------------## 指定Agent的组件名称agent1.sources = file_sourceagent1.sinks = kafka_sinkagent1.channels = mem_channel#---...原创 2018-07-20 09:57:47 · 1548 阅读 · 1 评论 -
Flume将日志log文件从本地导入kafka,再从kafka导入HDFS--使用kafka作为channel
作为前面两篇文章的整合,并使用kafka作为channel:1、Flume将日志log文件从本地导入kafka,再从kafka导入HDFS。地址:https://blog.csdn.net/m0_37890482/article/details/81126522#0-qzone-1-10214-d020d2d2a4e8d1a374a433f596ad14402、Flume根据文件中每行...原创 2018-07-20 14:00:19 · 3402 阅读 · 0 评论 -
Flume将日志log文件从本地导入Kafka_channel,再存储到HDFS。
作为前一篇的修改版,取出来kafka-in.conf文件中的sink和kafka-out.conf文件中的source。前一篇链接:https://blog.csdn.net/m0_37890482/article/details/81130840以下配置文件都存储于 /etc/flume-ng/conf/ 下面kafka-in.conf#--------文件从本地路径到kafk...原创 2018-08-15 11:39:42 · 654 阅读 · 0 评论 -
Kafka、Morphline、Hive的配合使用过滤并格式化日志数据
目录日志数据 创建并编写2个Flume配置文件:kafka_morphline_in.conf、kafka_morphline_out.conf 在Flume配置文件存放的同目录下创建并编写Morphline配置文件:morphline.conf 启动Zookeeper 启动Kafka 以kafka_morphline_out.conf配置文件agent2启动Flume 以kafk...原创 2018-08-20 10:19:08 · 751 阅读 · 0 评论