超级会员免费看
环境版本： Scala 2.11.8; Kafka 0.10.0.1; Spark 2.0.0
如需Scala 2.10.5; Spark 1.6.0; Kafka 0.10.0.1版本请看这篇：Flume+Kakfa+Spark Streaming整合
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.SparkConf
本文介绍了如何在Spark Streaming 2.0环境中使用Scala 2.11.8与Kafka 0.10.0.1进行集成。在本地运行时遇到协调器发现问题，但通过maven打包并提交到集群运行成功解决。此外，分享了pom.xml中添加的插件以确保所有依赖项完整，并提供了关闭基于YARN的Spark Streaming程序的方法。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
