三十六、《大数据项目实战之用户行为分析》Spark Streaming整合Kafka计算实时单词数量

大数据张老师

已于 2022-10-25 12:10:33 修改

阅读量672

点赞数

分类专栏： # 手把手搭建企业级大数据搜索引擎用户行为分析系统文章标签： kafka 大数据 spark SparkStreaming

于 2022-10-25 12:09:50 首次发布

原创文章，转载请注明出处。

本文链接：https://blog.csdn.net/xiaosa5211234554321/article/details/127510893

版权

手把手搭建企业级大数据搜索引擎用户行为分析系统专栏收录该内容

43 篇文章 15 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Spark Streaming结合spark-streaming-kafka-0-10包，对接Kafka 3.1.0进行实时数据处理。讲解了无Receiver的直连方法的优势，包括简化并行性、提高效率和实现恰好一次语义。同时，详细阐述了编写和运行Spark Streaming整合Kafka的单词计数程序的步骤，包括配置、创建DStream和运行应用程序。

摘要由CSDN通过智能技术生成

整合原理

Kafka在0.8和0.10版本之间引入了一个新的消费者API，Spark针对这两个版本有两个单独对应的Spark Streaming包可用，分别为spark-streaming-kafka-0-8和spark-streaming-kafka-0-10。需要注意的是，前者兼容Kafka 0.8、0.9、0.10，后者只兼容Kafka 0.10及之后的版本。而从Spark 2.3.0开始，对Kafka 0.8的支持就被弃用了，因此本书使用spark-streaming-kafka-0-10包进行讲解，使用的Kafka版本为3.1.0。

从Spark 1.3开始引入了一种新的无Receiver的直连（Direct）方法，以确保更强的端到端保证。这种方法不使用Receiver来接收数据，而是定期查询Kafka在每个主题和分区中的最新偏移量（Offset），并相应地定义在每个批处理中要处理的偏移量范围。启动处理数据的作业时，Kafka的简单消费者API用于从Kafka读取已定义的偏移量范围数据（类似于从文件系统读取文件）。这种方法的作业流程如图