监控
虽然目前Apache Kafka已经全面进化成一个流处理平台,但大多数的用户依然使用的是其核心功能:消息队列。对于如何有效地监控和调优kafka是一个大话题,很多用户都有这样的困扰。
目前没有一款kafka监控工具是公认比较优秀的,每个都有自己的特点但也有些致命缺陷。
kafka监控工具有:kafka manager、Kafka Web Console、Burrow,Kafka Offset Monitor,Kafka Eagle,Confluent Control Center。通过研究,发现主流的三种kafka监控程序分别为:
- kafka manager
- Kafka Offset Monitor
- Kafka Web Console
kafka manager
雅虎开源的kafka集群管理工具:
- 管理几个不同的集群
- 监控集群的状态(topics,brokers,副本分布,分区分布)
- 产生分区分配(generate partition assignments)基于集群的当前状态
- 重新分配分区