解决逆天深坑-Kafka写入失败

最近工作搭建了一个KafKa+ logstash + elasticsearch+ kibana，目的是为了解决日志存储的难题。用kafka进行消息的写入，防止因为并发过高而导致直接向logstash和elasticsearch中写入丢失的问题。
但是当搭建好之后，在测试kafka的时候，生产者迟迟无法写入消息。

贴一下错误：ERROR Error when sending message to topic test with key: null, value: 9 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 3 record(s) for test-0:120003 ms has passed since batch creation

找了很多网上的问题，都说是server.porperties的问题。我建议是先去试着修改一下，看看关键的配置有没有问题、我的配置经过多次尝试是没有问题的，但是却仍然无法成功。

结果在stackoverflow上找到了问题：
https://stackoverflow.com/questions/46750420/kafka-producer-error-expiring-10-records-for-topicxxxxxx-6686-ms-has-passed
这位回答者说是因为zookeeper中的data数据出现了问题，我尝试清除了一下就好了。
我是docker中运行的，所以用的是docker exec -it zookeeper sh进入到容器中，然后进入到data目录下，直接rm -rf xxx文件，之后重新启动了一下docker容器，就成功发送了。

生产者：

消费者：

—— —— —— —— —— —— —— —— —— 分割线—— —— —— —— —— —— —— —— —— —
今天又遇到了一个问题：也是类似的，记录一下。当时我按照上述步骤清除了zookeeper中的data数据，但是KafKa中报错和连不上zookeeper，放一下错误：The Cluster ID *** doesn‘t match stored clusterId Some(***) in meta.properties The broker…

后面在网上查找到了解决办法。但是需要进入到docker中，容器起不来是没法进入到docker中的。所以我建议直接docker rm kafka容器的id和名字。然后直接重新启动一下docker和运行一下yml文件

---

运行kafka生成者命令
docker exec -it kafka kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic

运行kafka消费者命令

docker exec -it kafka kafka-console-consumer.sh --bootstrap-server node1:9092 --topic my-kafka-topic