最近的项目用Kafka比较多,之前碰到很多问题都是网上搜索解决的,我将我近期踩坑爬坑的一些情况稍微总结一下,希望对后面的同学有点帮助。有错误的地方欢迎留言。
kafka基础知识可以参考这里
https://www.w3cschool.cn/apache_kafka/apache_kafka_quick_guide.html
本文kafka针对版本kafka_2.12-2.1.0, 不同版本可能现象和配置有差异。
- Kafka连接类故障
故障现象:kafka正常启动后,连接不上kafka服务
Kafka服务安装好(很多数据库默认安装之后远程访问是关闭的)之后,一般是监听的
本地的IP端口,需要进server.config修改配置:
advertised.listeners=SASL_PLAINTEXT://192.168.1.227:9092
listeners=SASL_PLAINTEXT://0.0.0.0:9092
重启后观察端口监听状态,如果监听的不是127.0.0.1,则非本机也可以进行连接了。
[root@XX]# netstat -an|grep 9092
tcp 0 0 192.168.1.227:44692 192.168.1.227:9092 ESTABLISHED
tcp6 0 0 :::

本文总结了在使用Kafka过程中遇到的常见故障,包括Kafka连接问题、数据消费异常和数据重复或遗漏等问题,并提供了相应的配置修改和优化建议。如调整`advertised.listeners`、`num.partitions`、`message.max.bytes`等参数,以及处理消费者组重新平衡和offset提交失败的情况。
最低0.47元/天 解锁文章
7212

被折叠的 条评论
为什么被折叠?



