消费kafka报java.nio.channels.ClosedChannelException

首先，问题已解决，重新梳理思路，侧重阐述整个过程、问题解决方案。

前言

在业务划分+技术迭代的背景下，需要重新进行日志收集，即服务日志存储到hdfs。

一、流程图

基于下图可知，此次迭代的变更点，主要是kafka的消息生产。
升级Kubernetes容器，主要原因：极致弹性的资源扩缩。

主要执行步骤如下：

1. 申请kafka、增加topic
2. 申请sls
3. 申请logstash、安装插件
4. t-streaming平台部署脚本
5. 网络加白
   a. sls 与 logstash
   b. logstash 与 kafka
   c. kafka 与 t-streaming平台
   d. kubernetes 与 sls（阿里云默认联通）

二、报错信息

java.nio.channels.ClosedChannelException

Traceback (most recent call last):
  File "gauss_demo.py", line 41, in <module>
    start()
  File "gauss_demo.py", line 32, in start
    kafkaParams={
   "metadata.broker.list": broker, "group.id": group_id})
  File "/software/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/spark/python/lib/pyspark.zip/pyspark/streaming/kafka.py", line 130, in createDirectStream
  File "/software/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
  File "/software/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o71.createDirectStreamWithoutMessageHandler.
: org.apache.spark.SparkException: java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
	at org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(