一站式Kafka平台解决方案——KafkaCenter

最新推荐文章于 2024-01-19 20:29:48 发布
最新推荐文章于 2024-01-19 20:29:48 发布
阅读量763 收藏 1
点赞数
分类专栏： Kafka 文章标签： kafka集群
原文链接：https://www.cnblogs.com/tree1123/p/12908653.html
版权

文章目录

一、KafkaCenter是什么

KafkaCenter是一个针对Kafka的一站式，解决方案。用于Kafka集群的维护与管理，生产者和消费者的监控，以及Kafka部分生态组件的使用。

对于Kafka的平台化，一直缺少一个成熟的解决方案，之前比较流行的kafka监控方案，如kafka-manager提供了集群管理与topic管理等等功能。但是对于生产者、消费者的监控，以及Kafka的新生态，如Connect，KSQL还缺少响应的支持。Confluent Control Center功能要完整一些，但却是非开源收费的。

对于Kafka的使用，一直都是一个让人头疼的问题，由于实时系统的强运维特性，我们不得不投入大量的时间用于集群的维护、kafka的运维，比如：

  • 人工创建topic，特别费力
  • 相关kafka运维，监控孤岛化、
  • 现有消费监控工具监控不准确
  • 无法拿到Kafka 集群的summay信息
  • 无法快速知晓集群健康状态
  • 无法知晓业务对team kafka使用情况
  • kafka管理，监控工具稀少，没有一个好的工具我们直接可以使用
  • 无法快速查询topic消息

在这里插入图片描述

二、功能模块介绍

  • Home-> 查看平台管理的Kafka Cluster集群信息及监控信息。
  • Topic-> 用户可以在此模块查看自己的Topic，发起申请新建Topic，同时可以对Topic进行生产消费测试。
  • Monitor-> 用户可以在此模块中可以查看Topic的生产以及消费情况，同时可以针对消费延迟情况设置预警信息。
  • Connect-> 实现用户快速创建自己的Connect Job，并对自己的Connect进行维护。
  • KSQL-> 实现用户快速创建自己的KSQL Job，并对自己的Job进行维护
  • Approve-> 此模块主要用于当普通用户申请创建Topic，管理员进行审批操作。
  • Setting-> 此模块主要功能为管理员维护User、Team以及kafka cluster信息
  • Kafka Manager-> 此模块用于管理员对集群的正常维护操作。

系统截图：
在这里插入图片描述

三、安装与入门

安装需要依赖 mysql、es、email server

组件是否必须功能
mysql必须配置信息存在mysql
elasticsearch(7.0+)可选各种监控信息的存储
email server可选Apply, approval, warning e-mail alert

1、初始化

在MySQL中执行sql建表

-- Dumping database structure for kafka_center
CREATE DATABASE IF NOT EXISTS `kafka_center` /*!40100 DEFAULT CHARACTER SET utf8 COLLATE utf8_bin */;
USE `kafka_center`;

-- Dumping structure for table kafka_center.alert_group
CREATE TABLE IF NOT EXISTS `alert_group` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `cluster_id` int(11) NOT NULL,
  `topic_name` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `consummer_group` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `consummer_api` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `threshold` int(11) DEFAULT NULL,
  `dispause` int(11) DEFAULT NULL,
  `mail_to` varchar(1000) COLLATE utf8_bin NOT NULL DEFAULT '',
  `webhook` varchar(1000) COLLATE utf8_bin NOT NULL DEFAULT '',
  `create_date` datetime DEFAULT NULL,
  `owner_id` int(11) DEFAULT NULL,
  `team_id` int(11) DEFAULT NULL,
  `disable_alerta` tinyint(1) DEFAULT 0,
  `enable` tinyint(1) NOT NULL DEFAULT 1,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
-- Data exporting was unselected.

-- Dumping structure for table kafka_center.cluster_info
CREATE TABLE IF NOT EXISTS `cluster_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) COLLATE utf8_bin NOT NULL,
  `zk_address` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `broker` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `create_time` datetime DEFAULT NULL,
  `comments` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `enable` int(11) DEFAULT NULL,
  `broker_size` int(4) DEFAULT 0,
  `kafka_version` varchar(10) COLLATE utf8_bin DEFAULT '',
  `location` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `graf_addr` varchar(255) COLLATE utf8_bin DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
-- Data exporting was unselected.

-- Dumping structure for table kafka_center.ksql_info
CREATE TABLE IF NOT EXISTS `ksql_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `cluster_id` int(11) DEFAULT NULL,
  `cluster_name` varchar(255) DEFAULT NULL,
  `ksql_url` varchar(255) DEFAULT NULL,
  `ksql_serverId` varchar(255) DEFAULT NULL,
  `version` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
-- Data exporting was unselected.

-- Dumping structure for table kafka_center.task_info
CREATE TABLE IF NOT EXISTS `task_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `cluster_ids` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `location` varchar(20) COLLATE utf8_bin NOT NULL DEFAULT '',
  `topic_name` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `partition` int(11) DEFAULT NULL,
  `replication` int(11) DEFAULT NULL,
  `message_rate` int(50) DEFAULT NULL,
  `ttl` int(11) DEFAULT NULL,
  `owner_id` int(11) DEFAULT NULL,
  `team_id` int(11) DEFAULT NULL,
  `comments` varchar(1000) COLLATE utf8_bin NOT NULL DEFAULT '',
  `create_time` datetime DEFAULT NULL,
  `approved` int(11) DEFAULT NULL,
  `approved_id` int(11) DEFAULT NULL,
  `approved_time` datetime DEFAULT NULL,
  `approval_opinions` varchar(1000) COLLATE utf8_bin DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
-- Data exporting was unselected.

-- Dumping structure for table kafka_center.team_info
CREATE TABLE IF NOT EXISTS `team_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `own` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
-- Data exporting was unselected.

-- Dumping structure for table kafka_center.topic_collection
CREATE TABLE IF NOT EXISTS `topic_collection` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `cluster_id` int(11) NOT NULL,
  `user_id` int(11) NOT NULL,
  `name` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `type` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
-- Data exporting was unselected.

-- Dumping structure for table kafka_center.topic_info
CREATE TABLE IF NOT EXISTS `topic_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `cluster_id` int(11) NOT NULL,
  `topic_name` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `partition` int(11) DEFAULT NULL,
  `replication` int(11) DEFAULT NULL,
  `ttl` bigint(11) DEFAULT NULL,
  `config` varchar(512) COLLATE utf8_bin DEFAULT NULL,
  `owner_id` int(11) DEFAULT NULL,
  `team_id` int(11) DEFAULT NULL,
  `comments` varchar(1000) COLLATE utf8_bin NOT NULL DEFAULT '',
  `create_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
-- Data exporting was unselected.

-- Dumping structure for table kafka_center.user_info
CREATE TABLE IF NOT EXISTS `user_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `real_name` varchar(255) COLLATE utf8_bin DEFAULT '',
  `email` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '',
  `role` varchar(255) COLLATE utf8_bin NOT NULL DEFAULT '100',
  `create_time` datetime DEFAULT NULL,
  `password` varchar(255) COLLATE utf8_bin DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
-- Data exporting was unselected.

-- Dumping structure for table kafka_center.user_team
CREATE TABLE IF NOT EXISTS `user_team` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` int(11) DEFAULT NULL,
  `team_id` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

2、配置

相关配置位于application.properties
可对端口 日志等信息做一些修改：

server.port=8080
debug=false
# 设置session timeout为6小时
server.servlet.session.timeout=21600
spring.security.user.name=admin
spring.security.user.password=admin
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/kafka_center?useUnicode=true&characterEncoding=utf-8
spring.datasource.username=root
spring.datasource.password=123456
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.type=com.zaxxer.hikari.HikariDataSource
spring.datasource.hikari.minimum-idle=5
spring.datasource.hikari.maximum-pool-size=15
spring.datasource.hikari.pool-name=KafkaCenterHikariCP
spring.datasource.hikari.max-lifetime =30000
spring.datasource.hikari.connection-test-query=SELECT 1
management.health.defaults.enabled=false

public.url=http://localhost:8080
connect.url=http://localhost:8000/#/
system.topic.ttl.h=16

monitor.enable=true
monitor.collect.period.minutes=5
monitor.elasticsearch.hosts=localhost:9200
monitor.elasticsearch.index=kafka_center_monitor
#是否启用收集线程指定集群收集
monitor.collector.include.enable=false
#收集线程指定location，必须属于remote.locations之中
monitor.collector.include.location=dev
collect.topic.enable=true
collect.topic.period.minutes=10
# remote的功能是为了提高lag查询和收集，解决跨location网络延迟问题
remote.query.enable=false
remote.hosts=gqc@localhost2:8080
remote.locations=dev,gqc
#发送consumer group的lag发送给alert service
alert.enable=false
alert.dispause=2
alert.service=
alert.threshold=1000
alter.env=other
#是否开启邮件功能,true:启用，false:禁用
mail.enable=false
spring.mail.host=
spring.mail.username=KafkaCenter@xaecbd.com
# oauth2
generic.enabled=false
generic.name=oauth2 Login
generic.auth_url=
generic.token_url=
generic.redirect_utl=
generic.api_url=
generic.client_id=
generic.client_secret=
generic.scopes=

3、运行

推荐使用docker

docker run -d -p 8080:8080 --name KafkaCenter -v ${PWD}/application.properties:/opt/app/kafka-center/config/application.properties xaecbd/kafka-center:2.1.0

不用docker

$ git clone https://github.com/xaecbd/KafkaCenter.git
$ cd KafkaCenter
$ mvn clean package -Dmaven.test.skip=true
$ cd KafkaCenter\KafkaCenter-Core\target
$ java -jar KafkaCenter-Core-2.1.0-SNAPSHOT.jar

4、查看

访问http://localhost:8080 管理员用户与密码默认：admin / admin

四、功能介绍

Topics

用户可以在此模块完成Topic查看，已经申请新建Topic，同时可以对Topic进行生产消费测试。

Monitor

用户可以在此模块中可以查看Topic的生成以及消费情况，同时可以针对消费延迟情况设置预警信息。

Alerts

此模块用于维护预警信息。用户可以看到自己所有预警信息，管理员可以看到所有人的预警信息。

Kafka Connect

实现用户快速创建自己的Connect Job，并对自己的Connect进行维护。

KSQL

实现用户快速创建自己的KSQL Job，并对自己的Job进行维护。

Approve

此模块主要用于当普通用户申请创建Topic 或者Job时，管理员进行审批操作。

Setting

此模块主要功能为管理员维护User、Team以及kafka cluster信息

Cluster Manager

此模块用于管理员对集群的正常维护操作。

Home

这里是一些基本的统计信息
在这里插入图片描述

My Favorite

集群与topic列表
在这里插入图片描述

Topic

这里是一些topic的管理功能

Topic List

操作范围：用户所属Team的所有Topic

  • Topic -> Topic List -> Detail 查看Topic的详细信息
  • Topic -> Topic List -> Mock 对Topic进行生产测试
    在这里插入图片描述
    在这里插入图片描述

申请创建topic

Important: admin不能申请task,普通用户必须先让管理员新建team后，将用户加入指定team后，才可以申请task。

操作范围：用户所属Team的所有Task

  • Topic -> My Task -> Detail 查看申请的Task信息

  • Topic -> My Task -> Delete 删除被拒绝或待审批的Task

  • Topic -> My Task -> Edit 修改被拒绝的Task

  • Topic -> My Task -> Create Topic Task 创建Task

    1. 按照表单各字段要求填写信息
    2. 点击确认，提交申请

    审批结果：
    1. 审批通过：Topic将会被创建在管理员指定的集群
    2. 审批拒绝：用户收到邮件，返回到My Task，点击对应Task后面的Edit，针对审批意见进行修改

Topic命名规则：

  1. 只能包含：数字、大小写字母、下划线、中划线、点；长度大于等于3小于等于100。
  2. 不推荐：下划线开头；

在这里插入图片描述
可对所有Topic进行消费测试
在这里插入图片描述

Monitor

监控模块

生产者监控

在这里插入图片描述消费者监控
在这里插入图片描述
消息积压
在这里插入图片描述
报警功能
在这里插入图片描述

Connect

这里是一些Connect的操作

在这里插入图片描述
在这里插入图片描述

KSQL

可以进行KQL的查询操作

在这里插入图片描述

Approve

这里主要是管理员做一些审核操作

  • Approve->check 审批用户的Task
  • 根据用户选择的location指定cluster
  • 检查用户设置的partition和replication大小是否合理，如不合理做出调整
  • 检查其他字段是否合理，如需要拒绝该申请，点击Reject并填写意见。
    在这里插入图片描述

Kafka Manager

Topic管理

在这里插入图片描述

Cluster管理

在这里插入图片描述

broker管理

在这里插入图片描述

group管理

在这里插入图片描述

Setting

在这里插入图片描述
KafkaCenter还是一个非常不错的kafka管理工具，可以满足大部分需求。

5忘初心
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LogiKM:一站式Apache Kafka集群指标监控与运维管控平台
07-24
一站式Apache Kafka集群指标监控与运维管控平台 阅读本README文档，您可以了解到滴滴Logi-KafkaManager的用户群体、产品定位等信息，并通过体验地址，快速体验Kafka集群指标监控与运维管控的全流程。若滴滴Logi-...
KafkaCenter:KafkaCenter是用于Kafka集群管理和维护，生产者消费者监视以及生态组件使用的统一平台
03-13
语言： :United_States: -： ： 卡夫卡中心 KafkaCenter是一个统一的一站式平台，用于Kafka群集管理和维护，生产者/消费者监视以及生态组件的使用。 目录 为什么要使用KafkaCenter？ 您有一个Kafka集群*，并且想要 通过图表监视生产者和消费者，并轻松配置阈值的电子邮件警报 让您的用户请求主题并在简单的Web UI中对其进行监视 在一个组合的用户界面中访问Kafka生态系统（Kafka，KSQL，Kafka Connect，Kafka Manager） 您只需要在后台将一个MySQL数据库存储在KafkaCenter即可存储其配置。 如果要使用监视功能，则还需要安装Elasticsearch。 然后，只需下载我们的Docker映像（请参阅下面的HowTo），然后就可以使用！ *注意：KafkaCenter尚不支持对安全的Kafka集群（SASL或OAuth
一站式Kafka监控管理平台KafkaCenter
是故事啊~关注我~
06-01 3521
最近在做kafka监控管理的插件调研，今天主要是写一下优秀的开源插件之KafkaCenter，git地址在文末。 一张图总览一下kafkaCenter KafkaCenter是什么？ KafkaCenter是Kafka 集群管理和维护，生产/消费监控，生态组件使用的统一一站式平台。 KafkaCenter 解决了什么问题 在给大家说我们解决什么问题之前，先说说在没有KafkaCe...
kafka消费的完整解决方案
felix
07-01 2459
无论是kafka，还是RocketMQ，rabbitMQ等，与springboot的结合得益于spring的强大，使得变的非常easy，但依然知识简单的使用变的非常容易，如果要达到理想的结果，不仅需要他们对原理熟悉一点，还要对spring提供的sdk熟悉，下面就看一下kafka的使用，以及需要解决的一些问题。 引入依赖             <!--kafka-->&nbs
开源版本_开源项目KafkaCenter 版本持续集成（CI）实践
weixin_39624367的博客
12-03 160
开篇本文简单介绍开源项目KafkaCenter 版本持续集成(CI)实践方案，主要解决了三个问题：前后端项目编译发布Github release包制作docker镜像希望能给你带来一点参考。详细信息可以参考 https://github.com/xaecbd/KafkaCenter正文版本管理KafkaCenter 后端服务是java,使用maven管理的，有多个module，为了做到版...
一站式Kafka平台解决方案-KafkaCenter.docx
10-26
KafkaCenter 是一个全面的一站式解决方案，专门设计用于管理和监控 Apache Kafka 集群。它弥补了当前市场上开源 Kafka 管理工具的不足，提供了一套集中的平台来处理 Kafka 的日常运维任务。KafkaCenter 包括了对 ...
用户画像系统解决方案——搭建开发环境.pdf
11-18
用户画像系统解决方案的核心是搭建一个数据分析平台，用于收集、存储和分析用户行为数据，并提供精准的画像结果。 二、标签指标体系 标签指标体系是用户画像系统的核心组件，用于定义和计算用户画像的各个维度。...
ubuntu安装kafka（csdn）————程序.pdf
12-04
Kafka 是一个基于发布订阅模式的高吞吐量分布式消息队列系统，广泛应用于大数据处理、实时数据处理、流式计算等领域。以下是 Ubuntu 安装 Kafka 的详细步骤和配置过程。 安装 OpenJDK 首先，需要安装 OpenJDK 8，...
MichaelG.Noll：整合Kafka到SparkStreaming——代码示例和挑战
03-03
作者MichaelG.Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到SparkStreaming中。期间， ...
Kafka集群搭建解决方案总结
轩1024的博客
07-27 215
上篇总结了kafka各个版本的差异，了解了改怎样正确选择kafka版本。下面从操作系统，磁盘，带宽各方面来做一下总结。 作为一个集群，当然首先是集群各个节点的机器。平时学习中，我们都是用单台机器做的伪集群。伪集群做测试学习还可以，生产上，绝对是要用真实机器的。 操作系统 我们知道Kafka是由Scala和Java开发的，都是JVM系的语言。而且昨晚Javaer都知道，只要他们编译成*.class字节码后就可以在任何装了虚拟机的操作系统上运行，这叫做跨平台，这叫做Compileonceandrun...
分布式的流处理平台Kafka
zouyang920的博客
04-28 849
ApacheKafka 是一个分布式的流处理平台。支持消息的发布和订阅，类似于 RabbtMQ、ActiveMQ 等消息队列；支持数据实时处理；能保证消息的可靠性投递；支持消息的持久化存储，并通过多副本分布式的存储方案来保证消息的容错；高吞吐率，单 Broker 可以轻松处理数千个分区以及每秒百万级的消息量。
一站式Kafka平台KafkaCenter-开源啦
qq_41490913的博客
03-29 1037
前言 经过一年的不断打磨，在团队成员的共同努力下，终于能以真实的面貌呈现在大家的面前，很开心，很激动。开源软件，只是为了和大家交个朋友,喜欢的话，star，star，star,重要的事情说三遍！ 之前做过Kafka 平台化的一点经验分享，以至于很多小伙伴问了，这个东西有没有开源，在团队成员的共同努力下，欢迎感兴趣的同学加入我们，做点感兴趣的事。 KafkaCenter是什么？ KafkaCen...
Kafka-实践-数据平台-美团技术团队
最新发布
Java程序员的知识博客
01-19 864
海源、仕禄、肖恩、鸿洛、启帆、胡荣、李杰等，均来自美团数据科学与平台部。
kafka-confluent管控中心安装
weixin_30323631的博客
08-07 117
kafka-confluent管控中心安装 https://www.confluent.io/ 一个基于kafka的扩展平台，我们主要关注其管控中心。 由于监控中心只有企业版才有，所以下载企业版，并进行测试。 进入下载中心，可以看到两个版本： 比对了两个版本的差异，发现也主要在管控中心、同步和安全上。并且一些功能，不提供win...
kafka创建topic_一站式Kafka平台KafkaCenter-开源啦
weixin_39916758的博客
12-03 134
Important: https://github.com/xaecbd/KafkaCenter前言经过一年的不断打磨，在团队成员的共同努力下，终于能以真实的面貌呈现在大家的面前，很开心，很激动。开源软件，只是为了和大家交个朋友,喜欢的话，star，star，star,重要的事情说三遍！http://weixin.qq.com/r/QjgUDAvEw1a8rU9v921Q (二维码自动识别)之前做...
虚拟机搭建kafka集群（Center OS 7）
DavidSoCool的博客
08-21 745
操作系统：center os 7 软件：jdk8、zookeepe-3.5.5、kafka2.2.0 zookeeper集群部署：https://blog.csdn.net/DavidSoCool/article/details/96431181 kafka下载地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2...
kafka controller介绍
zhaoxv_的博客
12-19 669
kafka的controller介绍
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值