Structured Streaming可以作为消费者与Kafka整合,实时读取Kafka中的数据进行处理。Structured Streaming与Kafka整合,需要Kafka的版本在0.10.0以上。以Kafka为数据源,实现单词计数程序的操作步骤如下:
1. 导入依赖库
在Maven项目的pom.xml中导入以下依赖库:
<!--Spark核心库-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.2.1</version>
</dependency>
<!--Spark SQL依赖库-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.12</artifactId>
<version>3.2.1</version>
</dependency>
<!-- Structured Streaming针对Kafka的依赖库-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-10_2.12</artifactId>