spark2.1.3参数spark.streaming.concurrentJobs大于1报错 KafkaConsumer is not safe fo r multi-threaded access
因为集群比较老,选用的spark为2.1.3版本,消费kafka时发生数据积压现象,在调试过程中,调大启动参数spark.streaming.concurrentJobs发现会报消费者不安全异常,查了好久资料,是官方源码问题,需要改动源码加上线程id,改动的类有两个,代码如下CachedKafkaConsumer/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license a
原创
2020-09-28 14:37:53 ·
609 阅读 ·
0 评论