Kafka之四：Kafka与Streaming集成

最新推荐文章于 2024-06-29 07:47:50 发布

落落free

最新推荐文章于 2024-06-29 07:47:50 发布

阅读量800

点赞数

分类专栏：大数据阶段 # Spark # Kafka 文章标签： kafka 集群大数据 Hadoop

本文链接：https://blog.csdn.net/qq_39394264/article/details/90404851

版权

本文介绍了如何在IDEA中配置maven，以便使用Kafka作为Spark Streaming的数据源。详细阐述了两个程序的实现过程，包括代码示例、集群启动、任务提交以及可能遇到的错误和解决方案，特别是针对缺少jar包的问题提供了处理方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka之四：Kafka与Streaming集成

文章目录

Kafka之四：Kafka与Streaming集成

Kafka之一：Kafka简述
 Kafka之二：Kafka集群的安装
 Kafka之三：Kafka集群工作流程

spark官网
Kafka作为spark Streaming的一种输入源，当Kafka和Streaming集成时充当消费者角色。（请了解Kafka命令操作）

1. 修改IEDA的maven配置

在这里插入图片描述
按照官网配置修改maven配置文件pom.xml

org.apache.spark
spark-streaming-kafka-0-10_2.11
2.1.1

2. 程序一

(1) 官网实例：
在这里插入图片描述

    package com.spark.kafka
    import org.apache.kafka.common.serialization.StringDeserializer
    import org.apache.spark.SparkConf
    import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}
    import org.apache.spark.streaming.{Seconds, S