flume+kafka+storm整合文件

flume和kafka整合

1.下载flume-kafka-plus: https://github.com/beyondj2ee/flumeng-kafka-plugin

2.提取插件中的flume-conf.properties文件

修改该文件：#source section

producer.sources.s.type = exec
producer.sources.s.command = tail -f -n+1 /mnt/hgfs/vmshare/test.log
producer.sources.s.channels = c

修改所有topic的值改为test

将改后的配置文件放进flume/conf目录下

在该项目中提取以下jar包放入环境中flume的lib下：

注：这里的flumeng-kafka-plugin.jar这个包，后面在项目中已经移动到package目录了。找不到的童鞋可以到package目录获取。

完成上面的步骤之后，我们来测试下flume+kafka这个流程有没有走通；

我们先启动flume，然后再启动kafka，启动步骤按之前的步骤执行；接下来我们使用kafka的kafka-console-consumer.sh脚本查看是否有flume有没有往Kafka传输数据；

以上这个是我的test.log文件通过flume抓取传到kafka的数据；说明我们的flume和kafka流程走通了；

怎么设置同步复制呢，看下面的配置：

1. #1个channel和1个sink的配置文件 ；
   
2. a1.sources = r1
   
3. a1.sinks = k1 
   
4. a1.channels = c1

具体配置大伙根据自己的需求去设置，这里就不具体举例了 

kafka和storm的整合：

1.下载kafka-storm0.8插件： https://github.com/wurstmeister/storm-kafka-0.8-plus

2.使用maven package进行编译，得到storm-kafka-0.8-plus-0.3.0-SNAPSHOT.jar包   

3.将该jar包及kafka_2.9.2-0.8.0-beta1.jar、metrics-core-2.2.0.jar、scala-library-2.9.2.jar (这三个jar包在kafka项目中能找到)

备注：如果开发的项目需要其他jar，记得也要放进storm的Lib中比如用到了mysql就要添加mysql-connector-java-5.1.22-bin.jar到storm的lib下

那么接下来我们把storm也重启下；

完成以上步骤之后，我们还有一件事情要做，就是使用kafka-storm0.8插件，写一个自己的Storm程序；

先稍微看下程序的创建Topology代码

数据操作主要在WordCounter类中，这里只是使用简单JDBC进行插入处理

这里只需要输入一个参数作为Topology名称就可以了！我们这里使用本地模式，所以不输入参数，直接看流程是否走通；

>storm-0.9.0.1/bin/storm jar storm-start-demo-0.0.1-SNAPSHOT.jar com.storm.topology.MyTopology

先看下日志，这里打印出来了往数据库里面插入数据了

然后我们查看下数据库；插入成功了！

到这里我们的整个整合就完成了！

使用storm进行分布式流式计算，那么分布式最需要注意的是数据一致性以及避免脏数据的产生，建议是建立一个zookeeper的分布式全局锁，保证数据一致性，避免脏数据录入！