关于使用spark的结构化流向kafka写入数据,出现的问题。查看过多篇文章,这些文章对这种现象并不能满足解决问题的能力!故写此。
首先,根据我实况经验,查看诸多博客文,这里就不点明各种隐患问题了。看官网介绍是解决问题的必经之路!
官网地址;
关于结构化流媒体+ Kafka集成指南中第一个link就解决我在maven项目,编译时遇到的无法找到kafka的问题:
<!-- DataFrame传入kafka所需依赖 -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql-kafka-0-10_2.11</artifactId>
<version>2.4.0</version>
</dependency>
多么重要,基础的东西。首先,导入正确的依赖包才是一切的开端。
关于相应的检查点,所知有限;但建议在
// 关于检查点的文件位置,相对位置,关于文件路径知识,可自我理解
val spark = SparkSession.builder()
.master("local[*]")
.appName("streamingToKafka_test")
.config("spark.sql.streaming.checkpointLocation", "checkpointDir")
.getOrCreate();
其余在官网中,有足够的解析。
Over!