Logi-KafkaManager操作文档

最新推荐文章于 2024-09-22 18:10:40 发布
最新推荐文章于 2024-09-22 18:10:40 发布
阅读量1.1k 收藏 4
点赞数
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38650982/article/details/115225902
版权

Logi-KafkaManager操作文档

1.产品简介

​ 滴滴Logi-KafkaManager是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台，专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。

1.1 架构图

在这里插入图片描述

2.使用说明

1.用户管理

1.申请用户角色

​ 1.点击运维管控

在这里插入图片描述

​ 2.点击添加用户
在这里插入图片描述

​ 3.填写用户信息，选择角色，设置密码

在这里插入图片描述

用户申请成功

2.编辑用户角色

​ 用户的角色和密码是可以更改的，点击编辑按钮，就可以对用户的信息进行编辑

在这里插入图片描述

2.Topic管理

​ 在topic管理中，我们可以申请topic，申请配额，申请分区，申请下线等操作

1.申请topic

点击右上角“申请Topic”

在这里插入图片描述

填写配置信息

在这里插入图片描述

然后topic就会显示为待审批状态

在这里插入图片描述

这个时候，需要切换到运维人员用户，对主题进行审批（不知道为什么申请的topic可以自动审批）

2.申请配额

在这里插入图片描述

信息填写完整后会出现待审批的状态，此时切换到admin账户，对工单进行审批

在这里插入图片描述

3.申请分区

点击申请分区按键，填写配置信息

在这里插入图片描述
在这里插入图片描述

然后切换到admin用户进行审批，同上

4.申请下线

点击更多

在这里插入图片描述

点击申请下线

在这里插入图片描述

点击确认，然后切换到admin用户审批，同上

5.删除topic

点击运维管控，选择需要删除的topic，点击删除

在这里插入图片描述

在这里插入图片描述

6. 重置offset

​ 点击Topic管理，找到相应的topic，点击进去，点击消费组信息，点击重置offset，重置offset可以选择全部重置也可以选择重置到指定时间。

在这里插入图片描述

在这里插入图片描述

7.查看broker详细信息

在这里插入图片描述

点击brokerID可以查看broker的详细信息

在这里插入图片描述

在这里插入图片描述

点击监控信息可以查看broker的一些指标图表，以图表的形式展示数据走向。

在这里插入图片描述

点击topic信息可以查看broker的topic信息

在这里插入图片描述

8. topic权限申请

点击选择全部topic，点击申请权限，可以为topic申请消费权限和发送权限

在这里插入图片描述

在这里插入图片描述

3. 应用管理

1. 申请应用

​ 点击应用管理，然后点击应用申请

在这里插入图片描述

在这里插入图片描述

2. 修改应用

点击编辑，可以对应用进行修改，可以修改应用名称，负责人以及应用描述

在这里插入图片描述

在这里插入图片描述

3. 应用下线

点击申请下线，可以下线应用

在这里插入图片描述

在这里插入图片描述

4. 查看应用详情

点击应用的appid，便可以查看应用详情

在这里插入图片描述

在这里插入图片描述

4. 集群管理

1. 申请集群

点击上方的集群管理进入集群页面，点击右上方的申请集群按钮即可

在这里插入图片描述

填写集群所属的应用，设置集群类型，设置峰值流量，填写申请原因即可

在这里插入图片描述

填写完毕后需要审批，审批完成后即可
在这里插入图片描述

2. 集群下线

对于自己独享的集群，可以申请下线

点击集群管理>我的集群，可以查看集群列表，点击申请下线，然后会出现申请下线的弹窗，弹窗内展示是否有与该集群相关的活跃topic，如果有，则无法下线该集群，需要先下线相应的topic。

在这里插入图片描述

3. 集群缩扩容

对于自己独享的集群，可以申请缩扩容

点击集群管理>我的集群，可以查看集群列表，点击缩扩容，然后会出现申请缩扩容的弹框，选择申请的类型，是扩容还是缩容，然后填写申请缩扩容的原因，点击确认提交

在这里插入图片描述

4. 查看集群详情

点击集群名称，进入集群详情页，在这里我们可以查看集群的一些基本信息

在这里插入图片描述

5. 查看集群topic列表

点击集群名称，进入集群详情页，点击topic信息，可以查看集群相关的topic列表。

在这里插入图片描述

6. 查看集群broker列表

点击集群名称，进入集群详情页，点击broker信息，查看集群相关的额broker列表

在这里插入图片描述

5. 监控告警

1. 告警列表

可以以列表的形式展示每个告警规则的告警情况，也可通过下拉筛选想查看的应用，或输入关键字匹配告警

在这里插入图片描述

2. 新增告警规则

点击新建规则，进入新建告警规则页面

在这里插入图片描述

在这里插入图片描述

填写告警基本信息，选择指标和报警策略

在这里插入图片描述

填写生效时间，选择告警规则生效的时间段

在这里插入图片描述

配置发送信息，可以在这里设置报警的级别，报警的周期，周期内报警的次数等等

在这里插入图片描述

全部填写完毕，点击右上角的提交即可

在这里插入图片描述

6. 运维管控

1. 集群列表

点击运维管控>集群列表，就会以列表的形式展示集群信息，也可以通过左上方的搜索框，输入集群名称的关键字，搜索相应的集群

在这里插入图片描述

2. 新增集群

点击右上方的接入集群

在这里插入图片描述

然后会出现接入集群的弹框，在这里要填入集群名称，zookeeper地址，bootstrapServers, 集群类型。

在这里插入图片描述

填写完整以后，点击确认，提交申请单

3. 修改集群

点击编辑，即可修改集群信息，但是只支持修改集群类型和安全协议这两项内容，修改完成后点击确认

在这里插入图片描述

4. 暂停/开始监控集群

点击集群列表操作栏中的暂停监控，在气泡确认框中点击确认，可暂停对该集群的监控，反之，打开对集群的监控操作一样

在这里插入图片描述

5 删除集群

点击集群列表操作栏中的删除，在二次确认弹框中，会显示该物理集群上是否有逻辑集群，如果有，则无法直接删除，需要先将逻辑集群删除后，再删除该物理集群。

在这里插入图片描述

在这里插入图片描述

6. 查看集群详情

点击集群名称，进入详情页，在这里可以查看topic信息，broker信息，消费组信息，region信息，逻辑集群信息，Controller变更历史以及限流信息

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

7. 集群运维

1. 迁移任务

点击运维管控>集群运维，点击右上角的新建迁移任务，填写新建迁移任务的详细信息即可

在这里插入图片描述

在这里插入图片描述

2. 集群任务

点击运维管控>集群运维，选择集群任务，点击新建集群任务，填写完相应的配置信息，点击确认即可

在这里插入图片描述

在这里插入图片描述

3. 版本管理

点击运维管控>集群运维，选择版本管理，点击上传配置，对配置进行上传，上传完成点击确认即可

在这里插入图片描述

在这里插入图片描述

8. 平台管理

1. 应用管理

操作同上面应用管理

2. 用户管理

操作同上面应用管理

3. 配置管理

点击运维管控>平台管理，选择配置管理，点击增加配置按钮，在弹框里填写好配置信息即可

在这里插入图片描述

在这里插入图片描述

Tang Pangpang
关注
kafka实践（十五）： 滴滴开源Kafka管控平台 Logi-KafkaManager研究
叶子叶来
01-25 1万+
滴滴开源了其Kafka 监控与管控平台 Logi-KafkaManager，因为有30+个集群的维护经验，使用过kafka-manager，kafka-eagle，kafka-mirrorkaker工具，所以很期待能有1个工具能够整合kafka所有工具优点于一身，这样对于生产环境中kafka集群的管理、监控、资源分配、平滑升级、数据跨机房传输是非常好的，所以在研究kafka源码的同时研究一下Logi-KafkaManager的源码和使用，滴滴提供了体验地址：http://117.51.150.133:808
kafka实践（十七）： Logi-KafkaManager研究
叶子叶来
09-06 883
跟vue类似，react的前端请求由proxy代理和请求路径组成，在api模块把请求路径封装成方法名，比如/api/v1/normal/clusters/的get方法，webpack和api中定义如下： //webpack中 proxy: { '/api/v1/': { // target: 'http://127.0.0.1:8080', target: 'http://10.179.37.199:8008', // target:
Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
2401_83916283的博客
04-16 1118
运维管控集群运维数据迁移的几个注意点Logi-KafkaManager 实现数据迁移集群任务版本管理平台管理专栏文章列表项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台运维管控====================================================================集群列表Kafka的灵魂伴侣Logi-KafkaManger三之运维管控–集群列表集群运维在了解KM的迁移功能之前,我们先了解一下正
滴滴历经7年打磨，终于开源的Kafka云管控平台！Github Star 1.8k+！！
didi_cloud的博客
02-26 1011
导读： LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时，还与多家知名企业达成商业化合作。 滴滴内部统一使用 kafka 作为大数据的数据通道，当前滴滴共有几十个 kafka 集群，450+ 的节点，20k+ 的 kafka topic，每天2w亿+的消息量；每周500+UV用户..
Kafka-Manager安装及操作
最新发布
Aidon博客
09-22 2506
Kafka manager是一款常用的Kafka集kafka管理、操作和监控的工具,本文覆盖Kafka-manager的介绍、安装部署和操作等内容.
Logi-KafkaManager安装
qq_38650982的博客
03-01 900
Logi-KafkaManager安装 1.环境依赖 ​ 如果是以Release包进行安装的，则仅安装Java及MySQL即可。如果是要先进行源码包进行打包，然后再使用，则需要安装Maven及Node环境。 Java 8+(运行环境需要) MySQL 5.7(数据存储) Maven 3.5+(后端打包依赖) Node 10+(前端打包依赖) 2. 获取安装包 1.Release直接下载 ​ 这里如果觉得麻烦，然后也不想进行二次开发，则可以直接下载Release包，下载地址：Github Release包
Kafka的灵魂伴侣Logi-KafkaManger(1)之集群的接入及相关概念讲解
热门推荐
石臻臻的杂货铺(szzdzhp001)
04-14 1万+
上一篇文章 Logi-KafkaManager的部署 详细讲解了Logi-KafkaManager的部署过程; 那么运维管理人员搭建好了平台之后,接下来要做什么呢？ 接下来第一步肯定就是接入现有kafka集群了; 那么本篇文章就来讲解一下 集群的接入; 接入集群 参数描述 参数 描述 数据中心 默认国内; 这个也只是一个划分数据的维度,我们一般默认就国内 集群类型 无效,后续会去掉 安全协议 TODO JMX认证 TODO 接入成功之后可以看见接入的物理集群; 列表中展示了
干货，实战滴滴开源Logi-KafkaManager
数据一哥，公众号：数据社
02-02 3034
公众号推文规则变了，点击上方"数据社",设为星标后台回复【加群】，申请加入数据学习交流群滴滴开源了其Kafka 监控与管控平台 Logi-KafkaManager，因...
滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台
DiDi_Tech的博客
01-14 6663
桔妹导读： LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管...
Logi-KafkaManager:一站式Apache Kafka集群指标监控与运维管控平台
05-11
阅读本README文档，您可以了解到滴滴Logi-KafkaManager的用户群体、产品定位等信息，并通过体验地址，快速体验Kafka集群指标监控与运维管控的全流程。若滴滴Logi-KafkaManager已在贵司的生产环境进行使用，并想要...
Logi-KafkaManager：一站式Apache Kafka指标监控​​与运维管控平台
02-03
阅读本README文档，您可以了解到滴滴Logi-KafkaManager的用户群体，产品定位等信息，并通过体验地址，快速体验Kafka指标监控​​与运维管控的全流程。如果滴滴Logi-KafkaManager已在贵司的生产环境进行使用，并想要...
滴滴Logi-KafkaManager 一站式Kafka监控与管控平台
javadada1197的博客
08-03 739
滴滴内部统一使用 kafka 作为大数据的数据通道，当前滴滴共有几十个 kafka 集群，450+ 的节点，20k+ 的 kafka topic，每天2w亿+的消息量；每周500+UV用户，需要完成 topic 创建、申请、指标查看等操作；每天运维人员还有大量集群、topic运维操作。因此我们需要构建一个Kafka的管控平台来承载这些需求。 在平台建设的初期，我们调研了社区同类产品的使用情况，在调...
kafka-manager部署文档
weixin_43046724的博客
02-26 989
github地址：https://github.com/yahoo/CMAK.git 一、编译打包 1、下载代码（确定分支版本） git clone -b 2.0.0.2https://github.com/yahoo/CMAK.git 2、修改maven仓库源 代码根目录project/plugins.sbt文件 // The Typesafe repository resolvers += "aliyun" at "http://maven.aliyun.com/nexus/content.
滴滴Logi-KafkaManager学习(一) Mac搭建滴滴Logi-KafkaManager环境
panjianlongWUHAN的专栏
05-10 592
滴滴Logi-KafkaManager学习 Mac搭建滴滴Logi-KafkaManager环境 一. Logi-KafkaManager简介 滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时，还与多家知名企业达成商业化合作。 1.体验地图 (1)用户体验地图 平台租户.
Kafka的灵魂伴侣Logi-KafkaManger集群介入及相关概念
didi_cloud的博客
05-08 407
今天给大家介绍一下，由滴滴开源的kafka的管理运维平台——Kafka的灵魂伴侣Logi-KafkaManger。 经过博主一番体验下来，感觉相比之前用过的所有kafka管理平台都要出色，所以在此开设一个专栏给大家介绍。 对于这款kafka的灵魂伴侣Logi-KafkaManger，大家完全可以顺着我的专栏文章顺序一篇一篇的阅读，看完全部专栏保准你对整个平台的应用炉火纯青 ???? ~ 如果有疑问可以在评论区留言或者看本文最下方加官方小助手微信进官方群提问！ 文章中如有错误❎ ~ 烦请提醒博主纠正✅
滴滴Logi-KafkaManager开源之路：一站式Kafka集群指标监控与运维管控平台
Obsuite
01-29 864
导读 从2019年4月份计划开源到2021月1月14号完成开源，历时22个月终于修成正果，一路走来实属不易，没有前端、设计、产品，我们找实习生、合作方、外部资源支持，滴滴Kafka服务团队人员也几经调整，内部迭代了3个大版本，我们最终还是克服重重困难做到了！一经开源获得了社区用户广泛的认可，截止当前Star达到1150，钉钉用户突破540人，滴滴开源Logi-KafkaManager一站式Kafka监控与管控平台阅读1W+UV。 01 滴滴Logi-KafkaManager简介 Kafka作为滴滴..
Logi-KafkaManager：构建专业易用的Kafka云平台
2. **分布式部署与API化能力**：通过分布式部署，Logi-KafkaManager能够处理大规模的Kafka集群，同时将核心功能转化为API接口，使得用户可以方便地通过API进行操作，提升了服务的灵活性和易用性。 3. **兼容性强**...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值