kafka启动报错&问题解决
一早上班,就收到运维同事通知说有一台物理机宕机,导致虚拟机挂了。只得重启kafka服务器。
1.启动
启动zookeeper
bin/zkServer.sh start conf/zoo.cfg &
启动kafka
bin/kafka-server-start.sh config/server.properties &
2.测试
问题一
kafka启动之后,发现一直打印warn,上图。且在进程中ps -ef| grep kafka,无法看到。很明显kafka启动失败了。
Resetting first dirty offset of __consumer_offsets
从重复报错信息中可以得知,这是清理线程在一直遇到问题。最快的方式当前是清空kafka的data目录。或者不管这个warn,当大量数据涌入的时候,产生了可以清理的segment,就不会再有这个warn了。参考 https://blog.csdn.net/define_us/article/details/80537186。
问题二
正常启动kafka之后,测试能否使用走一波。
创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
生产者生产消息
[apps@erp-computation-4 kafka_2.11-1.1.0]$ bin/kafka-console-producer.sh --bro