Sparkstreaming获取Kafka数据源的两个报错

最新推荐文章于 2022-06-29 14:28:04 发布
最新推荐文章于 2022-06-29 14:28:04 发布
阅读量703 收藏 1
点赞数 2
分类专栏： Spark 文章标签： spark scala kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42784856/article/details/109861060
版权

Sparkstreaming获取Kafka数据源的两个报错：java.lang.NoSuch MethodError: scala.Product. $ init $(Lscala/Product;)V 和 wrong number of type parameters for overloaded method value createDirectStream with alternatives:

1.报错1：java.lang.NoSuch MethodError: scala.Product. $ init $(Lscala/Product;)V

这个报错我百度到有说是使用的版本问题导致的，可是很多人都不清楚自己使用的是什么版本的scala呢…
我直接上图，不哔哔了…

在这里插入图片描述
划重点敲黑板了噢：看看自己项目下的pom文件，看看自己选择的依赖版本尾部是几点几版本，例如我的是2.11,那么你就应该去Scala官网

最低0.47元/天 解锁文章
richard 上天
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark streaming 整合kafka 报错 KafkaConsumer is not safe for multi-threaded access
XUJIA2018的博客
11-30 2037
问题描述 spark streaming 使用 直连方式 读取kafka 数据，使用窗口时出现 java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access 报错信息如图： 代码 object testScala { def main(args: Array[String]): Unit = { val conf = new SparkConf() .se
spark-streaming-kafka-0-10_2.12-3.0.0.jar
07-27
spark3.0.0版本对接kafka数据源需要的jar包，最新的版本导致maven的阿里云仓库不能直接下载下来，所以需要手动导入jar包进行操作，有需要的朋友可以免费下载
SparkStreaming整合Kafka
阿伟的博客
06-21 797
1.KafkaUtils.createDStream--API创建。 2.会有一个Receiver作为常驻Task运行在Executor进行中，一直等待数据的到来。 3. 一个Receiver效率会比较低，那么可以使用多个Receiver,但是多个Receiver中的数据又需要手动进行合并，很麻烦，且其中某个Receiver挂了之后，会导致数据丢失，需要开启WAL预写日志来保证数据的安全，但是效率又低了。 4.Receiver模式使用Zookeeper来连接Kafka（Kafka的新版本中已经不推荐使用该方
sparkStreaming拉取kafka010的bug
qq_24124009的博客
01-09 722
目前kafka版本中，很多公司在用kafka010，但是在用sparkstreaming去消费kafka时，很多人都会碰到一个错误 Caused by: java.lang.AssertionError: assertion failed: Failed to get records for spark-executor-abcd1 test1 8 1 after polling for 51...
spark-streaming-kafka-0-10_2.12 api
Geek_SQ
05-03 1164
因为更新了scala 2.12 版本 老的kafka api 会报错，翻了半天博客记录一下 package com.sq.sparkstreaming import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.TopicPartition import org.apache.k...
spark-streaming-kafka-0-10源码分析
weixin_30657999的博客
11-02 463
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/7767621.html 本文所研究的spark-streaming代码版本为2.3.0-SNAPSHOT spark-streaming为了匹配0.10以后版本的kafka客户端变化推出了一个目前还是Experimental状态的spark-streaming-kafka-0-10客户端，由...
sparkStreaming结合kafka取存数据
01-07
目录 一、说明 1、环境介绍 ...3、主程序Kafka2SparkStreaming2Kafka 四、启动程序测试 1、创建相关kafka主题 2、kafka生产数据到程序 3、从写入到的kafka主题中读取数据 一、说明 1、环境介绍 spark:
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
sparkstreaming-kafka开发的pom文件
07-06
<scala.version>2.10.5 <spark.version>1.6.2</spark.version> <jackson.version>2.4.3 <hbase.version>1.2.0 的pom文件
spark-streaming-kafka-0-10_2.12-2.4.0.jar
03-11
spakr streaming的kafka依赖
SparkStreamingKafka:Spark Streaming日志到kafka
05-17
4. **结果输出**：处理后的数据可以通过不同的方式输出，如写入另一个Kafka主题、保存到文件系统或数据库，或者通过其他Spark Streaming支持的输出操作。 5. **Java编程接口**：对于Java开发者，可以使用`...
记录spark-streaming-kafka-0-10_2.11的2.3.2版本StructuredStreaming水印除重操作OOM解决
ITwangnengjie的博客
09-10 1457
代码主要部分： val df = kafkaReadStream(spark, KAFKA_INIT_OFFSETS, KAFKA_TOPIC) .option("maxOffsetsPerTrigger",1000)//限流:对每个触发器间隔处理的最大偏移量的速率限制。指定的偏移量总数将按比例划分到不同卷的topicPartitions上。 .option("fetchOffset.numRetries",3)//尝试次数 .option("failOnDa
Spark Streaming Kafka CreateDirectDStreaming 遇见的问题
吟啸徐行
12-01 3738
问题1： spark-submit 提交任务报错如下： 分析：起初我的spark 集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。最后我想使用spark standalone模式跑程序，就把spark-env和spark-default下的hadoop相关参数 注释掉了。之后提交程序提示： Exception in thread "
提交kafka任务到spark streaming报错：org/apache/kafka/clients/consumer/Consumer
jyyy1990的博客
06-29 728
报错org/apache/kafka/clients/consumer/Consumer 网上试了几个办法都没解决，最后把kafka-clients-0.10.0.1.jar和spark-streaming-kafka-0-10_2.11-2.4.5.jar放到master机器spark的jars目录里就不报这个错了，仅供尝试和参考，不保证能解决你的问题。...
Spark Streaming 异常汇总
qq_22772259的博客
05-30 611
1.overloaded method value createDirectStream with alternatives: overloaded method value createDirectStream with alternatives: (jssc: org.apache.spark.streaming.api.java.JavaStreamingContext,locationStrategy: org.apache.spark.streaming.kafka010.Locatio.
Spark 系列16—— Spark Streaming 整合 Kafka
weixin_42073629的博客
08-21 344
一、版本说明 Spark 针对 Kafka 的不同版本，提供了两套整合方案：spark-streaming-kafka-0-8和spark-streaming-kafka-0-10，其主要区别如下： spark-streaming-kafka-0-8 spark-streaming-kafka-0-10 Kafka 版本 0.8.2.1 or higher 0.10.0 or higher AP 状态 Deprecated 从 Spark 2.3.0 ...
spark-streaming连接kafka报错 java.lang.NoClassDefFoundError: kafka/common/TopicAndPartition
VictorKa的博客
05-12 1710
等
idea运行Scala项目报错 ERROR SparkContext: Error initializing SparkContext
weixin_46515919的博客
04-19 2198
Idea运行scala项目报错 原因是程序不知道是哪种运行环境。 设置成本地模式运行即可 new SparkConf().setAppName("WordCount1").setMaster("local") 修改完之后运行即可成功 另外，sdk和jar包之类的基础配置就不说了，没有那些应该也是没法运行的。 ...
sparkStreaming获取kafka数据（java版本）
最新发布
06-12
以下是使用Java编写的Spark Streaming获取Kafka数据的示例代码： ```java import org.apache.kafka.common.serialization.StringDeserializer; import org.apache.spark.SparkConf; import org.apache.spark....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值