kafka客户端获取消息慢分析与解决

正在使用的kafka客户端数据突然滞后了,于是我花了两天的时间对系统进行分析。

1、检查程序

前不久改过程序,添加了搜索引擎的索引目录,于是我退回原来的版本,发现数据还是滞后

2、检查kafka所在的内网

网络也是正常的

3、检查kafka的配置,发现kafka的topic的分区数据是15

根据网上的建议的提高客户端获取数据效率的方法

  1、增加分区  2、增加机器

我把分区增加到60,速度确实快的很多,但发现数据过一段时间还是滞后,后来加到120同样也是如此

4、根据kafkaManager 页面查找我对应topic目录,发现数据消费速度小于生产速度

 同时我还发现topic的groupid很多,并且无用的居多。

6、清楚groupid   

连接zk:zkCli.sh  -server  localhost:2181

进入ls /consumers

删除无用的groupid,rmr /consumers/groupid

重启客户端程序,观察消费速度明显大于生产速度

总结:无用的groupid会给zk带来负担,当groupid到一定的数量,必须清除


阅读更多
换一批

没有更多推荐了,返回首页