消费kafka报java.nio.channels.ClosedChannelException

最新推荐文章于 2024-09-22 07:35:45 发布

肉菇凉。

最新推荐文章于 2024-09-22 07:35:45 发布

阅读量2.8k

点赞数

分类专栏： kafka 文章标签： kafka 大数据

本文链接：https://blog.csdn.net/qq_41139341/article/details/121769967

版权

本文记录了在消费Kafka时遇到的`java.nio.channels.ClosedChannelException`问题的详细排查过程，包括网络、topic、group、代码、版本兼容性、生产者等多方面排查与修复方案，最终发现并解决了网络不通、group未创建、生产者未推送数据到Kafka等问题。

摘要由CSDN通过智能技术生成

首先，问题已解决，重新梳理思路，侧重阐述整个过程、问题解决方案。

前言

在业务划分+技术迭代的背景下，需要重新进行日志收集，即服务日志存储到hdfs。

一、流程图

基于下图可知，此次迭代的变更点，主要是kafka的消息生产。
升级Kubernetes容器，主要原因：极致弹性的资源扩缩。
在这里插入图片描述

主要执行步骤如下：

申请kafka、增加topic
申请sls
申请logstash、安装插件
t-streaming平台部署脚本
网络加白
a. sls 与 logstash
b. logstash 与 kafka
c. kafka 与 t-streaming平台
d. kubernetes 与 sls（阿里云默认联通）

二、报错信息

java.nio.channels.ClosedChannelException

Traceback (most recent call last):
  File "gauss_demo.py", line 41, in <module>
    start()
  File "gauss_demo.py", line 32, in start
    kafkaParams={
   "metadata.broker.list": broker, "group.id": group_id})
  File "/software/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/spark/python/lib/pyspark.zip/pyspark/streaming/kafka.py", line 130, in createDirectStream
  File "/software/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
  File "/software/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o71.createDirectStreamWithoutMessageHandler.
: org.apache.spark.SparkException: java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
	at

最低0.47元/天解锁文章