kafka
lvwenyuan_1
这个作者很懒,什么都没留下…
展开
-
Kakfa LAG监控
由于业务量突然上涨,原来kafka的一个topic只有1个分区,消息产生了堵塞,现在需要监控,本文采取的案例是通过pushagteway +prometheus 的形式。话不多说,直接是上脚本#!/bash/bin#传入group id ,通过命令获取laggroupId=$1kafka-consumer-groups.sh --new-consumer --bootstrap-...原创 2019-12-19 10:16:18 · 295 阅读 · 0 评论 -
CDH-API的使用
事情原由近来kafka总是时不时的出问题,出现的问题 : open too many files。我们限定的文件数已经是3W多了,一般都是维持在3K这样。然后就是原因找不到,不太清楚是kafka的bug还是磁盘或者网络的原因,现象如下。所以没办法,就搞个脚本,时不时去探测下kafka进程的打开文件数,如果文件数大于某个值,就重启该节点的broker节点。脚本编写1.查看...原创 2019-06-27 19:20:46 · 3285 阅读 · 0 评论