spark Kafka 线程安全问题

最新推荐文章于 2023-03-10 17:01:29 发布

路边摊阿达西

最新推荐文章于 2023-03-10 17:01:29 发布

阅读量873

点赞数

分类专栏：大数据 kafka spark 文章标签： spark kafka

本文链接：https://blog.csdn.net/dy379864290/article/details/104776696

版权

大数据同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

kafka

1 篇文章 0 订阅

订阅专栏

spark

1 篇文章 0 订阅

订阅专栏

KafkaConsumer is not safe for multi-threaded
报错内容：线程不安全
原因分析：Kafka consumer是非线程安全的

解决方法

1.(每个线程维护一个KafkaConsumer)，这个办法其实就是为缓存在map中的CachedKafkaConsumer对应的key增加了一个参数是线程id，使得不让多个线程使用同一个consumer。

2 .(单个(或多个)consumer，多个worker线程)对spark-streaming-kafka中的CacheKafkaConsumer进行了重构。

缺点

1.更多的TCP连接开销(每个线程都要维护若干个TCP连接)
consumer数受限于topic分区数，扩展性差
频繁请求导致吞吐量下降
线程自己处理消费到的消息可能会导致超时，从而造成rebalance

2.实现麻烦
通常难于维护分区内的消息顺序
处理链路变长，导致难以保证提交位移的语义正确性

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

路边摊阿达西

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Kafka】KafkaConsumer is not safe for multi-threaded access

九师兄

11-17

1500

KafkaConsumer is not safe for multi-threaded access Exception in thread “Thread-10” java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access at org.apache.kafka.clients.consumer.KafkaConsumer.acquire(KafkaConsumer.java

spark streaming 整合kafka 报错 KafkaConsumer is not safe for multi-threaded access

XUJIA2018的博客

11-30

2077

问题描述 spark streaming 使用直连方式读取kafka 数据，使用窗口时出现 java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access 报错信息如图：代码 object testScala { def main(args: Array[String]): Unit = { val conf = new SparkConf() .se

参与评论您还未登录，请先登录后发表或查看评论

探究：kafka生产者/消费者与多线程安全

最新发布

JaweG

03-10

4205

Kafka生产者是线程安全的，可以在多个线程中共享一个Kafka生产者实例。这是因为Kafka生产者实例内部使用了一些同步机制来保证线程安全，例如使用了线程安全的队列来缓存消息，使用了同步锁来保护共享资源的访问等。同时，Kafka生产者的send()方法是非阻塞的，可以在多个线程中并发调用，不会阻塞线程。Kafka生产者还提供了异步发送和同步发送两种发送方式，可以根据实际需求选择不同的发送方式。

大数据之spark_spark中的线程安全问题

WuBoooo的博客

09-27

939

Task多线程问题问题原因一个Executor是一个进程，一个进程中可以同时运行多个线程Task，如果多个Task使用了共享的成员变量，就会出现线程不安全的问题案例需求使用spark将日期字符串转换成long类型时间戳样例数据 2019-11-06 15:59:50 2019-11-06 15:59:51 2019-11-06 15:59:52 2019-11-06 15:59:53 2019-11-06 15:59:54 2019-11-06 15:59:55 2019-11-06 15:59

Spark 学习（六） Spark 的线程安全和序列化问题

weixin_30387423的博客

06-10

310

一，必备知识　　1.1经典14问　　1.2问题前提二，序列化问题　　2.1 Spark序列化出现情况　　2.2 Spark序列化问题解决三，线程安全问题　　3.1 Spark线程安全出现情况　　3.2 Spark线程安全问题解决正文一，必备知识　　1.1经典14问 1.SparkContext哪一端生成的？ ...

【七】kafka可靠性、有序性、重复消费、丢数据、线程安全

Sid小杰的博客

05-07

971

一、哪些情况会造成重复消费 1.生产者挂了重启场景：生产者设置的ACK是ALL，及需要所有副本都保存了消息才叫发送成功。假设生产者发送一条信息，leader已经收到且已经保存了，follower还没来得及同步，leader就挂了。此时会被认为是发送失败，重发。而刚好重发的时候旧的leader又重启复活了，那旧的leader会保存两次同样的数据 2.消费者自动提交偏移量场...

kafka消费者客户端线程安全以及多线程实现并发读取消息

LeoHan

05-03

3015

kafka的生产者客户端Producer是线程安全的，但是消费者客户端是非线程安全的，每次操作时都会调用accqure方法用来确定当前只有一个线程操作，如果有多个线程在操作，会抛出CME异常。针对这种情况，为了能够多线程更快速的读取消息，可以参考如下两种方式：在同一个消费者组下，每个线程建立一个consumer消费者组，这样相当于是在一个消费者组中多个消费者同时读取另外一种处理就是，用...

Kafka消费者的线程安全问题和多线程实现

wanger61的博客

09-30

2598

那么就会有越来越多的消息得不到及时的消费造成延迟。因此，可以采用多线程的方式来提高消费者的整体消费能力。使用该方式实现，一般所有的消费线程都属于同一个消费者组，一个消费线程可以消费一个或多个分区中的消息，因此。KafkaConsumer 非线程安全不意味着在消费消息的时候只能以单线程的方式执行，如果。的方式来获取当前 KafkaConsumer 的使用权，如果获取不到则抛异常。此外，如果需要手动提交，该种方式的实现也更加困难，有可能会有数据丢失的风险。与线程安全的 KafkaProducer 不同，

sparkstreaming ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access

a904364908的博客

02-22

1074

最近在测试sparkstreaming的时候发现了一个问题,记录一下环境 spark 2.x, kafka_0.10.x 示例代码: val ssc: StreamingContext = new StreamingContext(sparkSession.sparkContext,Seconds(5)) val kafkaBrokers:String = "hadoop01:9092...

KafkaConsumer 抛出KafkaConsumer is not safe for multi-threaded

NeverKnowPig的博客

11-06

4630

KafkaConsumer 抛出KafkaConsumer is not safe for multi-threaded access异常

Kafka踩坑笔记 - SparkStreaming连接 Kafka出现KafkaConsumer is not safe for multi-threaded access错误

兀坐晴窗独饮茶

12-06

1605

问题描述今天在使用 SparkStreaming消费kafka数据的时候, 出现了这个错误, 很莫名其妙去百度查了下, 发现这个错误是因为由于需要定时启动Kafka consumer拉取数据，第一次启动后，没有关掉线程。但Kafka consumer是非线程安全的，第二次消费数据时会报错： java.util.ConcurrentModificationException: KafkaCo...

rocketmq 顺序消费_深度剖析 Kafka/RocketMQ 顺序消息的一些坑

weixin_39775354的博客

11-21

471

我不记得有多少人问过以下这个问题了：我觉得这个问题问得很频繁，而且非常经典，在这里我就以 Kafka 为例子，说说我对 Kafka 顺序消息的一些理解吧，如有理解不对的地方麻烦留言指点一下。通常我们在说顺序消费指的是生产者按照顺序发送，消费者按照顺序进行消费，听起来简单，但做起来却非常困难。我们都知道无论是 Kafka 还是 RocketMQ，每个主题下面都有若干分区(RocketMQ 叫队列)，...

Kafka consumer多线程下not safe for multi-threaded access问题

rewerma的博客

09-29

6876

Kafka consumer多线程下的commit问题默认配置下kafka consumer的offset的commit是自动的，如需改成手动提交可以修改参数：enable.auto.commit = false 在手动提交offset的模式下，只需要执行kafkaConsumer.commitSync()即可提交本次拉取消息的所有分区的offset信息，伪代码片段如下： Properties kafkaProperties = new Properties(); ...... kafkaProperti

Spark之多线程安全问题 ,RDD的错误示范,累加器(分布式计算器) ,shuffle算子特殊情况 ,调用别人的API怎么操作(9)

桂林算啦粉的博客

10-05

1251

一多线程安全问题二定期更新规则三累加器用来统计数据处理的条数 ,在Task局部聚合 ,再到Driver端sum 在Driver端定义累加器 ,有以下三种形式 : 1)collectionAccumulator :将异常数据保存到集合里面 2)longAccumulator("累加器的名字") 3) DoubleAccumulator无参 val rdd1 = parallelize(List(1,2,3,4,5,6)) ---在Driver端定义...

Kafka如何基于CopyOnWrite实现线程安全的Deque构建

墨玉浮白的博客

05-07

280

执行getOrCreateDeque方法，拿着topic的partition，就去拿分区队列Deque(有就拿，没有就创建)。 private Deque<RecordBatch> getOrCreateDeque(TopicPartition tp) { //分区作为key，从CopyOnWriteMap中拿分区队列Deque //如果有Deque就拿，没有就创建 Deque<RecordBatch> d = this.batches

spark2.1.3参数spark.streaming.concurrentJobs大于1报错 KafkaConsumer is not safe fo r multi-threaded access

qq_40498209的博客

09-28

613

因为集群比较老，选用的spark为2.1.3版本，消费kafka时发生数据积压现象，在调试过程中，调大启动参数spark.streaming.concurrentJobs发现会报消费者不安全异常，查了好久资料，是官方源码问题，需要改动源码加上线程id，改动的类有两个，代码如下 CachedKafkaConsumer /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license a

KafkaConsumer is not safe for multi-threaded access

剑雨江湖

04-12

5487

1、关于structed streaming 读取kafka的问题：数据流从kafka过来，根据条件的不同，会被拆分成好几个流式dataFrame，这些流式的DF会进行各种join操作，在这个过程中会随机的触发KafkaConsumer is not safe for multi-threaded access，kafka多线程消费的问题，本程序就只有一个线程，怎么会有多线程消费的问题。在网上...

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access

Nice的博客

05-06

967

kafka连接SparkStreaming报错： java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access 解决：在代码中开启checkpoint机制即可 // 5.开启checkpoint机制 ssc.checkpoint("hdfs://bigdata01:9...