Spark1.x升级Spark2.x常见异常Kafka篇【TopicMetadataRequest】

最新推荐文章于 2020-11-10 16:40:40 发布
最新推荐文章于 2020-11-10 16:40:40 发布
阅读量391 收藏
点赞数 1
分类专栏： Spark Kafka 流计算 文章标签： spark kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27600723/article/details/107057694
版权
本文介绍了Spark从1.x升级到2.x时遇到的Kafka数据加载异常问题。由于SparkStreaming-kafka的版本不匹配，即使Kafka版本升级，也会导致错误。解决方案是采用新的Spark2.x兼容的访问方式来连接Kafka，避免类找不到的错误。同时，文章提到了不同Spark版本的数据加载方式及Kafka数据存储形式。
摘要由CSDN通过智能技术生成

一.原因分析

当Spark从1.x升级到2.x时，如果使用SparkStreaming加载Kafka的数据，即使Kafka版本没有变化【一般会有所升级】，对应的spark-streaming-kafka也必须升级到对应版本，访问方式也会有所变化。
此处是从Spark1.6.0升级到Spark2.4.3，Kafka略有升级【从2.1.0升级到2.2.1】，初始使用的是：

import org.apache.spark.streaming.kafka.KafkaUtils

val dframe = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc
最低0.47元/天 解锁文章
神之凝视
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
最新spark3.0.0版本对接kafka数据源出现的问题
newhandnew413的博客
07-27 2463
今天在学习spark-streaming中对接kafka数据源遇到一个问题，我用的都是最新的spark3.0.0版本的，版本如下： 接下来说说我遇到的问题： 用maven准备导入spark-streaming-kafka的依赖时，由于我用都是最新的版本，并且maven仓库用的是阿里云的镜像，导致一直无法下载下来，所以只好在maven仓库直接下载了jar包导入项目，可以正常调用方法 jar包： spark-streaming-kafka-0-10_2.12-3.0.0.jar 注意：还需要导入kafka的
Kafka API: TopicMetadata
denggua0627的博客
03-09 444
Jusfr 原创，转载请注明来自博客园 TopicMetadataRequest/TopicMetadataResponse 前文简单说过“Kafka是自描述的”，是指其broker、topic、partition 信息可以通过 TopicMetadata API 获取。 TopicMetadataRequest 的内容非常简单，是一个包含 TopicName 的数组，TopicMe...
Spark Streaming -2. Kafka集成指南（Kafka版本0.10.0或更高版本）
sun
11-22 1万+
在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法， 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] )  使用了receivers来接收数据，利用的是Kafka高层次的消费者a
sparkstreaming kafka Failed to get records for after polling for 512
join_null的博客
08-14 1019
new SparkConf().setAppName("XX").setMaster("local")   .set("spark.streaming.kafka.consumer.poll.ms", "30000"); https://blog.csdn.net/lmb09122508/article/details/80522252
Spark Streaming对接Kafka异常kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker
zhangjunbaodbd的博客
05-21 1397
使用版本 kafka:0.9.0.0 spark-streaming-kafka:spark-streaming-kafka-0-8_2.11 spark:2.3.0 代码 val kafkaStream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, ...
Apache Spark 2.x Cookbook
06-16
While Apache Spark 1.x gained a lot of traction and adoption in the early years, Spark 2.x delivers notable improvements in the areas of API, schema awareness, Performance, Structured Streaming, and ...
Apache Spark 2.x for Java Developers
08-16
Apache Spark 2.x for Java Developers by Sourav Gulati English | 26 July 2017 | ISBN: 1787126498 | ASIN: B01LY3N7ZO | 350 Pages | AZW3 | 4.48 MB Key Features Perform big data processing with Spark—...
基于Spark2.x新闻网大数据实时分析可视化系统项目.zip
最新发布
10-27
该项目是基于Spark 2.x构建的一个新闻网大数据实时分析与可视化的系统。Spark作为一个分布式计算框架，因其高效、灵活和易用的特点，在大数据处理领域广泛应用。Java作为编程语言，提供了丰富的库支持，使得开发者...
基于Spark2.x新闻网大数据实时分析可视化系统.docx
12-27
2. 技术选型：了解 Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming、MySQL、Hue、J2EE、websoket、Echarts 等技术的应用。 3. 架构设计：了解大数据项目的架构设计，包括系统架构图...
Spark Streaming2.3.x大数据企业级项目实战
06-12
《Spark Streaming 2.3.x大数据企业级项目实战》是一门综合性的课程，旨在通过理论与实践相结合的方式，全面解析大数据处理的各个环节。这门课程的核心是Spark Streaming，它是Apache Spark的一部分，专为实时数据流...
SparkStreaming + Kafka集成指南（Kafka版本要求0.10.0以上）
V_Gbird的博客
05-25 9527
        SparkStreaming集成Kafka0.10版本与集成0.8版本Kafka的直接连接方式类似。提供了简单的并行性以及Kafka分区和Spark分区之间一对一的映射，以及元数据和偏移量的访问。然而，因为使用新版本的消费者的API而不是简单方式的API造成了一些使用上的不同。当前版本的APi是试验性的，因此可能会被修改。引入对于scala或者java使用Maven或SBT的应用，...
Spark Streaming + Kafka集成指南（Kafka代理版本0.10.0或更高版本）
惜鸟的博客
11-10 831
目录标题一、概述二、Spark Streaming 整合kafka步骤1、引入依赖2、创建 Direct Stream1、LocationStrategies 位置策略说明2、ConsumerStrategies 消费者策略说明3、存储偏移量 一、概述 此文内容主要来自于官方文档，并且使用spark streaming 消费kafka的数据进行实时计算，经过自己测试实验进行一个总结。 spark 版本：2.4.0 kafka 版本：0.10 scala版本：2.11 Kafka 0.10的Spark Str
Kafka集成SparkStreaming
weixin_42073629的博客
10-03 536
Spark Streaming + Kafka集成指南 Kafka项目在版本0.8和0.10之间引入了一个新的消费者API，因此有两个独立的相应Spark Streaming包可用。请选择正确的包，请注意，0.8集成与后来的0.9和0.10代理兼容，但0.10集成与早期的代理不兼容。 注意：从Spark 2.3.0开始，不推荐使用Kafka 0.8支持。 Spark Streaming从Kafka接收数据，转换为spark streaming中的数据结构Dstream。数据接收方式有两种 ：1 使用.
Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误
a280966503的博客
12-15 2418
在使用spark读取kafka数据时，当spark升级到2.0之后，出现如上问题：之前遇到了，当时在工程里面添加了org.apache.spark.Logging类，能够运行。 但是在后期使用过程中，又遇到了相同的问题，为了一劳永逸，今天彻底把问题解决。 开发环境：Idea intelligent14 + spark-2.1.0 + kafka 在Idea中安装scala
spark 连接 kafka 遇到的问题
WQQ72600的博客
05-10 883
java.lang.NoClassDefFoundError: kafka/api/TopicMetadataRequest at org.apache.spark.streaming.kafka.KafkaCluster.getPartitionMetadata(KafkaCluster.scala:130) at org.apache.spark.streami...
java.lang.NoClassDefFoundError类错误解决方法
热门推荐
u011563666的博客
07-25 1万+
在开发maven项目时，在完成代码编写后进行本地测试过程中经常会出现如下错误 java.lang.NoClassDefFoundError: Could not initialize class xxx 当看到java.lang.NoClassDefFoundError这类错误，原因主要有以下两种： 项目中缺少需要的jar包 初始化类所需要的jar包，在maven项目中pom.xml中...
kafka api的基本使用
weixin_30919571的博客
05-08 106
kafka API kafka Consumer提供两套Java API：高级Consumer API、和低级Consumer API。 高级Consumer API 优点： 高级API写起来简单，易用。 不需要自行去管理offset，API已经封装好了offset这块的东西，会通过zookeeper自行管理 不需要管理分区，副本等情况，系统自动管理 消费者断线后会自动根据上次记录在zookee...
SparkStreaming与Kafka整合遇到的问题及解决方案
weixin_33728268的博客
08-03 1126
最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架 主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。...
通过编程方式获取Kafka中Topic的Metadata信息
u011007180的博客
07-17 2526
http://www.iteblog.com/archives/1604
Spark3.x全解析：从入门到精通视频教程
"Spark3.x从零到精通视频教程" 本视频教程全面涵盖了Spark技术栈的主要组件，适合初学者和有经验的开发者进一步提升Spark技能。教程以Spark 3.0版本为核心，详细讲解了以下几个关键知识点： 1. **Spark环境搭建**...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值