Spark接入kafka的jar问题

最新推荐文章于 2024-05-29 09:38:05 发布

目录哥

最新推荐文章于 2024-05-29 09:38:05 发布

阅读量1k

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/doujiayun3939/article/details/95596923

版权

本文探讨了Spark接入Kafka时遇到的jar版本匹配问题。Spark实时处理包括SparkStreaming和Structured Streaming两种方式，分别需要不同版本的spark-streaming-kafka库。在Cloudera Manager环境下，需要注意SPARK_KAFKA_VERSION配置，确保与Kafka版本兼容。根据官方文档，可以通过修改CDH配置来解决这个问题，具体步骤包括在CDH界面中设置SPARK_KAFKA_VERSION为None，以使用集群上已上传的Kafka-client版本，最后保存并重启使配置生效。

摘要由CSDN通过智能技术生成

首先spark的实时处理分为 sparkStreaming和structured streaming 俩中处理方式

sparkStreaming 需要引入

<dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-streaming-kafka-0-8_${scala.compat.version}</artifactId>
   <version>${spark.version}</version>
 </dependency>

其中 scala.compat.version 为scala的版本 0-8指的是kafka需要什么版本的要求

描述信息	spark-streaming-kafka-0-8	spark-streaming-kafka-0-10
kafka版本	0.8.2.1 or higher	0.10.0 or higher
稳定程度	Stable	Experimental
语言支持	Scala, Java, Python

最低0.47元/天解锁文章

目录哥

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
Spark接入kafka的jar问题

首先spark的实时处理分为 sparkStreaming和structured streaming 俩中处理方式sparkStreaming 需要引入<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-8...
复制链接

扫一扫