需要注意几点点:
1 kafka一定要是0.8或0.9版本的才可以
2 storm的版本一定要与storm-kafka.jar 的版本一致。
例如:我的版本选择是这样的
kafka_2.11-0.8.2.0 和 apache-storm-0.9.5 和 storm-kafka-0.9.5.jar
步骤:
1 kafka解压后 ,修改kafka配置文件中zookeeper的host 例如:hadoop01:2181,hadoop02:2181,hadoop03:2181
(也就是指定好自己配好的zookeeper)
2 storm解压后
1) 修改storm的配置文件
storm.zookeeper.servers:
- "hadoop01"
- "hadoop02"
- "hadoop03"
nimbus.host: "hadoop01"
supervisor.slots.ports:
- 6700
- 6701
storm.local.dir: "/opt/apache-storm-0.9.5/status"
nimbus.childopts: "-Xmx120m"
supervisor.childopts: "-Xmx100m"
worker.childopts: "-Xmx150m"
ui.childopts: "-Xmx100m"
2 lib中添加上kafka的依赖jar storm-kafka.jar 还有用到的redis的相关jar
jar的列表如下:
注意的一点:每当要改lib中的jar包后,一定要重启storm,否则不会生效