滴滴Logi-KafkaManager学习(一) Mac搭建滴滴Logi-KafkaManager环境

滴滴Logi-KafkaManager学习 Mac搭建滴滴Logi-KafkaManager环境

 

---

一. Logi-KafkaManager简介

滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时，还与多家知名企业达成商业化合作。

1.体验地图

(1)用户体验地图

• 平台租户申请  ：申请应用（App）作为Kafka中的用户名，并用 AppID+password作为身份验证
• 集群资源申请  ：按需申请、按需使用。可使用平台提供的共享集群，也可为应用申请独立的集群
• Topic   申   请  ：可根据应用（App）创建Topic，或者申请其他topic的读写权限
• Topic   运   维  ：Topic数据采样、调整配额、申请分区等操作
• 指   标  监   控  ：基于Topic生产消费各环节耗时统计，监控不同分位数性能指标
• 消 费 组 运 维 ：支持将消费偏移重置至指定时间或指定位置

(2)运维体验地图

• 多版本集群管控  ：支持从0.10.2到2.x版本
• 集    群    监   控  ：集群Topic、Broker等多维度历史与实时关键指标查看，建立健康分体系
• 集    群    运   维  ：划分部分Broker作为Region，使用Region定义资源划分单位，并按照业务、保障能力区分逻辑集群
• Broker    运    维  ：包括优先副本选举等操作
• Topic      运    维  ：包括创建、查询、扩容、修改属性、迁移、下线等

(3)运营体验地图

• 资  源  治  理  ：沉淀资源治理方法。针对Topic分区热点、分区不足等高频常见问题，沉淀资源治理方法，实现资源治理专家化
• 资  源  审  批  ：工单体系。Topic创建、调整配额、申请分区等操作，由专业运维人员审批，规范资源使用，保障平台平稳运行
• 账  单  体  系  ：成本控制。Topic资源、集群资源按需申请、按需使用。根据流量核算费用，帮助企业建设大数据成本核算体系

2.核心优势

• 高 效 的 问 题 定 位  ：监控多项核心指标，统计不同分位数据，提供种类丰富的指标监控报表，帮助用户、运维人员快速高效定位问题
• 便 捷 的 集 群 运 维  ：按照Region定义集群资源划分单位，将逻辑集群根据保障等级划分。在方便资源隔离、提高扩展能力的同时，实现对服务端的强管控
• 专 业 的 资 源 治 理  ：基于滴滴内部多年运营实践，沉淀资源治理方法，建立健康分体系。针对Topic分区热点、分区不足等高频常见问题，实现资源治理专家化
• 友 好 的 运 维 生 态  ：与滴滴夜莺监控告警系统打通，集成监控告警、集群部署、集群升级等能力。形成运维生态，凝练专家服务，使运维更高效

3.架构图

---

二. Logi-KafkaManager Mac环境搭建

1.源代码打包

• Clone代码 https://github.com/didi/Logi-KafkaManager
• 修改application.yml

  datasource:
    kafka-manager:
      jdbc-url: jdbc:mysql://localhost:3306/logi_kafka_manager?characterEncoding=UTF-8&useSSL=false&serverTimezone=GMT%2B8
      username: root
      password: XXXXXX

• mvn install

2.MySQL初始化

执行create_mysql_table.sql中的SQL命令，从而创建所需的MySQL库及表，默认创建的库名是logi_kafka_manager

mysql -uroot -pXXXXXX < ./create_mysql_table.sql

3.启动应用

nohup java -jar kafka-manager-web-2.4.0-SNAPSHOT.jar > /dev/null 2>&1 &

4.测试

本地URL http://localhost:8080/   admin/admin