kafka api消费集群中kafka数据报错问题

ERROR - Failed to send requests for topics test3 with correlation ids in [0,12]（错误大概是这样的）

出现这个错误的时候我漫天的百度，因为自己在集群中生产者生产的数据，消费者能够消费。但是在本地java api 生产数据发送到kafka集群中就出现上面的错误了，百度上面的方法基本都试过了，什么ip配置错误、kafka配置文件中的hosts.name没有配置呀  等等，都试过了，都不行

首先我进入掉kafka的DataDir(大概是这个目录，就是存放kafka数据的地方)，我进入到我生产数据的主题，在没有运行java 程序之前发现这个文件是空的，但是等我运行java 程序，程序报错但是文件夹却有数据而且数据是我自己在java程序生产的，这时候我首先想到的肯定是集群出问题了。于是我重新安装kafka集群，配置文件肯定不能用之前的配置文件了。因为我的配置文件配置了host.name等，其实这些都没有用，只需要配置如下几个参数：

 

[kafka/config/server.properties]
...
broker.id=202
...
listeners=PLAINTEXT://:9092
...
log.dirs=/home/centos/kafka/logs
...
zookeeper.connect=s201:2181,s202:2181,s203:2181

 

 

其他的参数都不需要配置，配合多了可能会导致集群出问题，具体的细节我没有去深究，有兴趣的可以研究研究。

转载于:https://www.cnblogs.com/hdfs/p/9376143.html