local模式连接kafka出现org.apache.spark.SparkException:java.nio.channels.ClosedChannelException错误

最新推荐文章于 2024-06-22 16:00:38 发布

reedom1991

最新推荐文章于 2024-06-22 16:00:38 发布

阅读量1.3k

点赞数

分类专栏： spark 文章标签： kafka spark

本文链接：https://blog.csdn.net/reedom1991/article/details/89285845

版权

在使用Spark 2.3.0和Kafka 1.10进行Spark Streaming时，遇到org.apache.spark.SparkException: java.nio.channels.ClosedChannelException错误。问题根源在于server.properties中配置的`metadata.broker.list`不正确。将`metadata.broker.list`从`master:9092`更改为`localhost:9092`，解决了无法连接Kafka集群的问题。

摘要由CSDN通过智能技术生成

所用软件版本：

spark2.3.0

kafka 1.10

IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0)

在做spark streaming用kafka进行监控本地文件，用IDEA2019.1进行编译的时候，一直弹出the thread "main" org.apache.spark.SparkException:java.nio.channels.ClosedChannelException的错误，发现是不能连接kafka集群。代码如下

import kafka.serializer.StringDecoder
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{StreamingContext, Duration}
import org.apache.spark.streaming.dstream.InputSDteam
import org.apache.spark.streaming.kafka.KafkaUtils

object kafkaStreaming{
    def main(args: Array[String]): Unit = {
        val sparkConf = new SparkConf().setAppName("kafka-spark-demo").setMaster("lcoal[4]")
        val scc = new Stre