一站式Kafka监控管理平台KafkaCenter

目录

KafkaCenter是什么？

KafkaCenter 解决了什么问题

我们面临的问题

Kafka Center解决了哪些问题

功能模块介绍

使用操作步骤

使用创建的test用户登录系统

---

  最近在做kafka监控管理的插件调研，今天主要是写一下优秀的开源插件之KafkaCenter，功能强大，git地址在文末。

kafka管理平台相关推荐：滴滴开源软件：kafka-manager之功能强大适合运维的的滴滴开源插件kafkamanager_大数据 从业者~-CSDN博客

一张图总览一下kafkaCenter

KafkaCenter是什么？

KafkaCenter是Kafka 集群管理和维护，生产/消费监控，生态组件使用的统一一站式平台。

KafkaCenter 解决了什么问题

在给大家说我们解决什么问题之前，先说说在没有KafkaCenter之前我们的面临的问题。

我们面临的问题

• 创建topic，人工处理化
• 相关kafka运维，监控孤岛化
• 现有消费监控工具监控不准确
• 无法拿到Kafka 集群的summay信息
• 无法快速知晓集群健康状态
• 无法知晓业务对team kafka使用情况
• kafka管理，监控工具稀少，没有一个好的工具我们直接可以使用
• 无法快速查询topic消息

  Kafka Center解决了哪些问题

• 统一: 一个平台，一站式包含自助，管理，监控，运维，使用一体化。
• 流程化: 创建topic流程化，做到对topic使用全生命周期管理。
• 复用: 平台支持接入多个集群，复用性很高。
• 成本: 只用部署一套程序，节省机器资源。降低运维成本，高效运维。
• 生态: 目前已经接入connect，ksql。
• 便捷: 提供便捷工具，让无需有kafka使用经验的人，都可以方便生产、消费消息。
• 全局: 可以站在不同的维度查看目前kafka使用情况
• 权限: 完善的权限设计，减少风险漏洞。

功能模块介绍

• Home->
  查看平台管理的Kafka Cluster集群信息及监控信息
• Topic->
  用户可以在此模块查看自己的Topic，发起申请新建Topic，同时可以对Topic进行生产消费测试。
• Monitor->
  用户可以在此模块中可以查看Topic的生产以及消费情况，同时可以针对消费延迟情况设置预警信息。
• Kafka Connect->
  实现用户快速创建自己的Connect Job，并对自己的Connect进行维护。
• KSQL->
  实现用户快速创建自己的KSQL Job，并对自己的Job进行维护。
• Approve->
  此模块主要用于当普通用户申请创建Topic，管理员进行审批操作。
• Setting->
  此模块主要功能为管理员维护User、Team以及kafka cluster信息
• Kafka Manager->
  此模块用于管理员对集群的正常维护操作。

使用操作步骤

1. 使用系统配置用户admin/admin登陆系统

2. 登录系统后进入Kafka Manager -> Cluster，点击Add New Cluster根据提示填写集群信息

3. 进入Setting -> User，点击Add User为系统添加用户(test和testAdmin),test用户角色为Member，testAdmin用户角色为Admin

Important:除系统自带admin账户之外，必须创建一个角色为admin的账户，否则系统中涉及给管理员发邮件的地方都会报错(eg:创建task) 

4. 添加用户成功之后，进入Setting -> Team,点击New Team，填写team名称(test_team)

5. 添加team成功之后，点击team Operation中的addUser按钮，选择刚才添加好的user，点击Add User To Team将用户添加到team中

6. 点击右上角图像选择logout退出系统

使用创建的test用户登录系统

1. 使用上述创建的用户(test)登录系统

2. 创建topic

• 进入Topic -> My Task，点击Create Topic Task，根据提示填写topic信息,创建topic(topic_test)，系统会发送提醒邮件至管理员处
•  

• 
• 退出系统，使用testAdmin账户登录系统
• 进入Approve，选择提交的Topic（topic_test），点击check，选择需要创建的集群，点击Approve。
• 

• topic创建成功之后，系统会发送创建成功邮件至用户test

3. 生产消息

• topic创建成功之后，进入Topic -> Topic List,选择创建的topic（topic_test）选择mock操作
• 

• 填写message的key和value，点击Send,右边提示PRODUCER TOPIC SUCCESS，生产成功

4. 监控生产状况

• topic(topic_test)消息生产成功之后，进入Monitor -> Producer
• 点击topic(topic_test),进入生产监控信息，显示生产的速率

5. 消费消息

Important:如果不选择Commit The Record Consumed的话，在consumer中查看不到消费信息

• 进入Topic -> Queries
• 选择cluster和topic name，选择Commit The Record Consumed，点击Query
• 消费成功后，右边显示消费到的消息
• 

• 选择Consumer Topic By Offset，选择partition，填写offset，点击Query（指定partition进行消费）
• 消费成功后，右边显示消费到的消息

6. 监控消费

• 进入Monitor -> Consumer,选择Topic，选择topic(topic_test)，查看消费组消费状态

点击消费组后面的alert，为group组添加alert监控，当lag达到配置的值时，系统将发邮件

点击上面消费使用的消费组，查看消费lag图

可以选择的时间间隔为，5分钟、10分钟、30分钟、1小时、6小时、12小时、1天、7天，

还可以自定义范围

kafkaCenter-git地址：GitHub - xaecbd/KafkaCenter: KafkaCenter is a unified platform for Kafka cluster management and maintenance, producer / consumer monitoring, and use of ecological components.