flume ng进击之路 （二）—— kafka sink使用

概述

随着kafka的越来越流行，把kafka作为消息（特别是日志）的传输消息队列的越来越多，同时其他各种开源工具都开始跟kafka对接。
在（一）中我们可以了解到，flume是常用语日志采集的工具，而kafka又常用于日志传输，因此对flume支持kafka的需求也很多，而官网也在提供flume的kafka sink，但貌似支持的配置不好，所有我们可以借助广大网页的力量，来实现kafka sink的功能。

使用

1. 下载
   地址：https://github.com/beyondj2ee/flumeng-kafka-plugin
   这是github上网友提供的flume kafka的插件，我在生产环境中也使用到很多场景，还是比较稳定。
2. 解压处理
   下载后解压，解压目录为：flumeng-kafka-plugin-master，文件夹下flumeng-kafka-plugin目录结构如下：
   
   • conf
   • libs
   • package
   • src
   • pom.xml

其中，libs和package包有我们需要的引入的jar包，conf下有示例的flume配置。
3. 配置
将libs和package下的所有jar包都放入flume目录的lib目录下；
配置flume-conf.properties
flume kafka sink配置