最近遇到的一些错误（kafka、sparkStreaming连接kafka时的错误）（bug记录）

kafka连接borker时失败，原因是配置kafka文件出错，未设置broker的监听端口号

• 错误信息：
  WARN [AdminClient clientId=adminclient-1] Connection to node -1 (/192.168.128.130:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

• 解决办法：
• 在kafka配置文件config/server.properties 中加入这行信息：
  listeners=PLAINTEXT:// ip地址 :9092
advertised.listeners=PLAINTEXT:// id地址 :9092
  （ip地址处换成自己主机的地址）

SparkStreaming连接时遇到了三个错误

问题一：hadoop 配置文件出错

• 错误信息：
  2023-09-19 20:58:19,371 ERROR [main] org.apache.hadoop.util.Shell - Failed to locate the winutils binary in the hadoop binary path
  java.io.IOException: Could not locate executable F:\HadoopLocal\hadoop-3.1.4\bin\winutils.exe in the Hadoop binaries.
• 解决办法
  这个错误是因为我不小心删了一些Hadoop在windows上的文件导致的，需要重新找到Hadoop在windows的配置文件，添加到path对应的指定路径即可解决。

问题二：包依赖问题

• 错误信息
  org.apache.spark.SparkContext - Error initializing SparkContext.

• 解决办法：
  检查一下依赖项的版本有没有冲突就可以了

问题三：

• 错误信息
  Failed to construct kafka consumer
• 解决办法：
  1. 检查依赖版本是否冲突。
  2. 检查kafka参数kafkaPara，主机地址是否正确，若用的是映射的话检查是否在映射文件中添加。
     我的问题是因为Linux虚拟机的主机地址映射没有在windows上配置好。（前提是你kafka集群的配置文件里的信息要检查好）