Flume和Kafka整合安装

最新推荐文章于 2023-05-30 11:54:35 发布

四叶草Grass

最新推荐文章于 2023-05-30 11:54:35 发布

阅读量2.9k

点赞数

分类专栏：大数据-Flume 文章标签： Flume kafka 整合

本文链接：https://blog.csdn.net/chongxin1/article/details/76104232

版权

本文档详细介绍了如何安装Flume和Kafka，以及如何将二者进行整合。在整合过程中，配置了Flume监听特定路径变化并将消息发送到Kafka的test主题。启动Flume和Kafka消费者后，日志显示整合成功。

摘要由CSDN通过智能技术生成

版本号：

RedHat6.5 JDK1.8 flume-1.6.0 kafka_2.11-0.8.2.1

1.flume安装

RedHat6.5安装单机flume1.6： http://blog.leanote.com/post/2630794313@qq.com/26781d33b435

2.kafka安装

RedHat6.5安装kafka集群： http://blog.leanote.com/post/2630794313@qq.com/0230848f841a

3.Flume和Kafka整合

在conf目录新建flume-kafka.conf文件：

 
 
 
  touch /usr/local/flume/apache-flume-1.6.0-bin/conf/flume-kafka.conf
  sudo gedit /usr/local/flume/apache-flume-1.6.0-bin/conf/flume-kafka.conf

输入以下内容：

 
 
 
  # 指定Agent的组件名称  
  agent1.sources = source1  
  agent1.sinks = sink1  
  agent1.channels = channel1  
   
  # 指定Flume source(要监听的路径)  
  agent1.sources.source1.type = spooldir  
  agent1.sources.source1.spoolDir = /usr/local/flume/logtest
   
  # 指定Flume sink  
  #agent1.sinks.sink1.type = logger  
  agent1.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink  
  agent1.sinks.sink1.topic = test  
  agent1.sinks.sink1