目录
最近在做kafka监控管理的插件调研,今天主要是写一下优秀的开源插件之KafkaCenter,功能强大,git地址在文末。
kafka管理平台相关推荐:滴滴开源软件:kafka-manager之功能强大适合运维的的滴滴开源插件kafkamanager_大数据 从业者~-CSDN博客
一张图总览一下kafkaCenter
KafkaCenter是什么?
KafkaCenter是Kafka 集群管理和维护,生产/消费监控,生态组件使用的统一一站式平台。
KafkaCenter 解决了什么问题
在给大家说我们解决什么问题之前,先说说在没有KafkaCenter之前我们的面临的问题。
我们面临的问题
- 创建topic,人工处理化
- 相关kafka运维,监控孤岛化
- 现有消费监控工具监控不准确
- 无法拿到Kafka 集群的summay信息
- 无法快速知晓集群健康状态
- 无法知晓业务对team kafka使用情况
- kafka管理,监控工具稀少,没有一个好的工具我们直接可以使用
- 无法快速查询topic消息
Kafka Center解决了哪些问题
- 统一: 一个平台,一站式包含自助,管理,监控,运维,使用一体化。
- 流程化: 创建topic流程化,做到对topic使用全生命周期管理。
- 复用: 平台支持接入多个集群,复用性很高。
- 成本: 只用部署一套程序,节省机器资源。降低运维成本,高效运维。
- 生态: 目前已经接入connect,ksql。
- 便捷: 提供便捷工具,让无需有kafka使用经验的人,都可以方便生产、消费消息。
- 全局: 可以站在不同的维度查看目前kafka使用情况
- 权限: 完善的权限设计,减少风险漏洞。
功能模块介绍
- Home->
查看平台管理的Kafka Cluster集群信息及监控信息 - Topic->
用户可以在此模块查看自己的Topic,发起申请新建Topic,同时可以对Topic进行生产消费测试。 - Monitor->
用户可以在此模块中可以查看Topic的生产以及消费情况,同时可以针对消费延迟情况设置预警信息。 - Kafka Connect->
实现用户快速创建自己的Connect Job,并对自己的Connect进行维护。 - KSQL->
实现用户快速创建自己的KSQL Job,并对自己的Job进行维护。 - Approve->
此模块主要用于当普通用户申请创建Topic,管理员进行审批操作。 - Setting->
此模块主要功能为管理员维护User、Team以及kafka cluster信息 - Kafka Manager->
此模块用于管理员对集群的正常维护操作。
使用操作步骤
- 使用系统配置用户admin/admin登陆系统
2. 登录系统后进入Kafka Manager -> Cluster,点击Add New Cluster根据提示填写集群信息
3. 进入Setting -> User,点击Add User为系统添加用户(test和testAdmin),test用户角色为Member,testAdmin用户角色为Admin
Important:除系统自带admin账户之外,必须创建一个角色为admin的账户,否则系统中涉及给管理员发邮件的地方都会报错(eg:创建task)
4. 添加用户成功之后,进入Setting -> Team,点击New Team,填写team名称(test_team)
5. 添加team成功之后,点击team Operation中的addUser按钮,选择刚才添加好的user,点击Add User To Team将用户添加到team中
6. 点击右上角图像选择logout退出系统
使用创建的test用户登录系统
1. 使用上述创建的用户(test)登录系统
2. 创建topic
- 进入Topic -> My Task,点击Create Topic Task,根据提示填写topic信息,创建topic(topic_test),系统会发送提醒邮件至管理员处
- 退出系统,使用testAdmin账户登录系统
- 进入Approve,选择提交的Topic(topic_test),点击check,选择需要创建的集群,点击Approve。
- topic创建成功之后,系统会发送创建成功邮件至用户test
3. 生产消息
- topic创建成功之后,进入Topic -> Topic List,选择创建的topic(topic_test)选择mock操作
- 填写message的key和value,点击Send,右边提示PRODUCER TOPIC SUCCESS,生产成功
4. 监控生产状况
- topic(topic_test)消息生产成功之后,进入Monitor -> Producer
- 点击topic(topic_test),进入生产监控信息,显示生产的速率
5. 消费消息
Important:如果不选择Commit The Record Consumed的话,在consumer中查看不到消费信息
- 进入Topic -> Queries
- 选择cluster和topic name,选择Commit The Record Consumed,点击Query
- 消费成功后,右边显示消费到的消息
- 选择Consumer Topic By Offset,选择partition,填写offset,点击Query(指定partition进行消费)
- 消费成功后,右边显示消费到的消息
6. 监控消费
- 进入Monitor -> Consumer,选择Topic,选择topic(topic_test),查看消费组消费状态
点击消费组后面的alert,为group组添加alert监控,当lag达到配置的值时,系统将发邮件
点击上面消费使用的消费组,查看消费lag图
可以选择的时间间隔为,5分钟、10分钟、30分钟、1小时、6小时、12小时、1天、7天,
还可以自定义范围