iteye_12404的博客

原创 spark streaming 与 kafka 集成测试

版本： kafka：2.11 spark：2.0.2 测试过程： 1、开发spark streaming程序，读取kafka队列数据，并进行处理； 2、启动spark、zookeeper及kafka； 3、启动log4j输出到kafka的程序，先用kafka receive console程序验证其正确性； 4、启动spark streaming程序，观察执行效果，启动命令如下： ...