kafka 的 ClosedChannelException

最新推荐文章于 2024-05-22 12:03:15 发布

kequanjade

最新推荐文章于 2024-05-22 12:03:15 发布

阅读量2.5k

点赞数

分类专栏： spark 文章标签： spark kafka

本文链接：https://blog.csdn.net/keyuquan/article/details/78789988

版权

spark 专栏收录该内容

15 篇文章 0 订阅

订阅专栏

在使用kafka_2.10-0.8.1.1版本的Spark实时任务中，遇到ClosedChannelException，但数据准确性未受影响，仅导致任务速度减慢。分析源码发现，此异常在kafka的BlockingChannel中抛出，可能与server.properties配置有关。调整相关参数并重启Kafka后，异常消失，实时任务执行时间减少至原来的1/10，性能显著提升。

摘要由CSDN通过智能技术生成

场景： kafka 版本kafka_2.10-0.8.1.1 ，spark任务刚开始正常运行，一段时间后，报下面的错误，但是数据准确性不影响，只是严重拖慢了实时任务

[Stage 46825:=========================================> (3 + 1) / 4]17/11/04 23:14:23 WARN TaskSetManager: Lost task 0.0 in stage 46825.0 (TID 1631417, hadoopslave1): java.nio.channels.ClosedChannelException

at kafka.network.BlockingChannel.send(BlockingChannel.scala:100)

at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:78)

at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:68)

at kafka.consumer.SimpleConsumer$$anonfun$fetch$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(SimpleConsumer.scala:112)

at kafka.consumer.SimpleConsumer$$anonfun$fetch$1$$anonfun$apply$mcV$sp$1.apply(SimpleConsumer.scala:112)

at kafka.metrics.KafkaTimer.time(KafkaTimer.scala:33)

at kafka.consumer.SimpleConsumer$$anonfun$fetch$1.apply$mcV$sp(SimpleConsumer.scala:111)

at kafka.consumer.SimpleConsumer$$anonfun$fetch$1.apply(SimpleConsumer.scala:111)

分析：

查看源码 kafka 源码 kafka.network.BlockingChannel ，知道该异常抛出的时候，什么都木有做，所以只是拖慢实时任务，并不影响数据准确性

def send(request: RequestOrResponse):Int = {

if(!connected)