spark streaming 与 kafka 集成测试
版本:kafka:2.11spark:2.0.2测试过程:1、开发spark streaming程序,读取kafka队列数据,并进行处理;2、启动spark、zookeeper及kafka;3、启动log4j输出到kafka的程序,先用kafka receive console程序验证其正确性;4、启动spark streaming程序,观察执行效果,启动命令如下:...
原创
2016-11-22 11:26:58 ·
662 阅读 ·
0 评论