kafka集群&kafka-eagle安装

已于 2023-11-17 13:37:38 修改
阅读量1.4k 收藏 1
点赞数
分类专栏： 工具 文章标签： kafka
于 2022-08-01 00:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L57645764/article/details/126054339
版权

目录

kafka安装

解压安装包

修改配置文件

启动集群

kafka-eagle安装

解压安装包

修改配置文件

程序启动与停止

访问页面

问题解决

kafka安装

前提条件：kafka依赖zookeeper，在安装kafka之前应安装并启动好zookeeper

zookeeper 1台：10.X.X.105

kafka 3台： 10.X.X.106/10.X.X.107/10.X.X.108

解压安装包

tar -zxvf  kafka_2.11-1.1.0.tgz

修改解压后的包名

mv kafka_2.11-1.1.0  kafka

修改配置文件

修改kafka配置文件，其中标黄部分为必须按需修改项

  • 在10.X.X.106服务器上面

vim config/server.properties

#broker.id属性在kafka集群中必须要是唯一

broker.id=0

delete.topic.enable=true

#kafka部署的机器ip和提供服务的端口号

listeners=PLAINTEXT://10.X.X.106:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

# 数据存储目录（根据实际情况修改，可自己创建）

log.dirs=/opt/soft/kafka/logs

#topic 分区数量

num.partitions=1

num.recovery.threads.per.data.dir=1

log.retention.hours=72

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同

zookeeper.connect=10.X.X.105:2181

zookeeper.connection.timeout.ms=6000

  • 在10.X.X.107服务器上面

vim config/server.properties

#broker.id属性在kafka集群中必须要是唯一

broker.id=1

delete.topic.enable=true

#kafka部署的机器ip和提供服务的端口号

listeners=PLAINTEXT://10.X.X.107:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

# 数据存储目录（根据实际情况修改，可自己创建）

log.dirs=/opt/soft/kafka/logs

#topic 分区数量

num.partitions=1

num.recovery.threads.per.data.dir=1

log.retention.hours=72

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同

zookeeper.connect=10.X.X.105:2181

zookeeper.connection.timeout.ms=6000

  • 在10.X.X.108服务器上面

vim config/server.properties

#broker.id属性在kafka集群中必须要是唯一

broker.id=2

delete.topic.enable=true

#kafka部署的机器ip和提供服务的端口号

listeners=PLAINTEXT://10.X.X.108:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

# 数据存储目录（根据实际情况修改，可自己创建）

log.dirs=/opt/soft/kafka/logs

#topic 分区数量

num.partitions=1

num.recovery.threads.per.data.dir=1

log.retention.hours=72

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同

zookeeper.connect=10.X.X.105:2181

zookeeper.connection.timeout.ms=6000

注：#kafka部署的机器ip和提供服务的端口号

listeners=PLAINTEXT://10.X.X.108:9092

也可以写成

host.name=10.X.X.108

port=9092

启动集群

分别在106/107/108三台机器上启动kafka

./bin/kafka-server-start.sh -daemon ./config/server.properties

使用jps检查进程是否存在，如图进程存在

验证集群

./bin/kafka-topics.sh --create --zookeeper l0.X.X.105:2181 --replication-factor 1 --partitions 5 --topic my-topic

#创建一个my-topic 的 topic 、副本为1、分区数为5

创建完成后在各个服务器的logs目录下可以看到创建的my-topic

kafka-eagle安装

前提：已安装jdk、mysql

解压安装包

tar -zxvf  kafka-eagle-bin-2.0.6.tar.gz

cd  kafka-eagle-bin-2.0.6

tar -zxvf  kafka-eagle-web-2.0.6-bin.tar.gz

修改配置文件

vim conf/system-config.properties

######################################

# multi zookeeper & kafka cluster list

######################################

kafka.eagle.zk.cluster.alias=cluster1

cluster1.zk.list=10.X.X.105:2181

######################################

# broker size online list

######################################

cluster1.kafka.eagle.broker.size=20

######################################

# zk client thread limit

######################################

kafka.zk.limit.size=32

######################################

# kafka eagle webui port

######################################

kafka.eagle.webui.port=8048

######################################

# kafka offset storage

######################################

cluster1.kafka.eagle.offset.storage=kafka

#cluster2.kafka.eagle.offset.storage=zk

######################################

# kafka jmx uri

######################################

cluster1.kafka.eagle.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

######################################

# kafka metrics, 15 days by default

######################################

kafka.eagle.metrics.charts=true

kafka.eagle.metrics.retain=15

######################################

# kafka sql topic records max

######################################

kafka.eagle.sql.topic.records.max=5000

kafka.eagle.sql.topic.preview.records.max=10

######################################

# delete kafka topic token

######################################

kafka.eagle.topic.token=keadmin

######################################

# kafka mysql jdbc driver address

######################################

kafka.eagle.driver=com.mysql.cj.jdbc.Driver

#数据库IP：port/库名

kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull

#登录数据库用户名

kafka.eagle.username=root

#登录数据库密码

kafka.eagle.password=123456

注：如果想要监控集群各个服务器的CPU和内存使用情况在kafka安装目录下修改bin/kafka-server-start.sh文件

在最上面一行添加一行参数

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"
    export JMX_PORT="9999"
fi

重启kafka即可

程序启动与停止

kafka-eagle-bin-2.0.6/kafka-eagle-web-2.0.6/bin目录下

执行./ke.sh start启动程序，如图启动成功

 执行./ke.sh stop 停止程序

访问页面

浏览器访问： http://10.X.X.105:8048

默认用户名密码：admin/123456

问题解决

1.启动时如果报数据库表结构不存在，有两种解决办法

  • 更换高版本安装
  • 手动创建数据库表结构，表结构如下：
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
 
-- ----------------------------
-- Table structure for ke_alarm_clusters
-- ----------------------------
DROP TABLE IF EXISTS `ke_alarm_clusters`;
CREATE TABLE `ke_alarm_clusters`  (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `type` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `cluster` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `server` text CHARACTER SET utf8mb4 NULL,
  `alarm_group` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `alarm_times` int NULL DEFAULT NULL,
  `alarm_max_times` int NULL DEFAULT NULL,
  `alarm_level` varchar(4) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `is_normal` varchar(2) CHARACTER SET utf8mb4 NULL DEFAULT 'Y',
  `is_enable` varchar(2) CHARACTER SET utf8mb4 NULL DEFAULT 'Y',
  `created` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `modify` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_alarm_clusters
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_alarm_config
-- ----------------------------
DROP TABLE IF EXISTS `ke_alarm_config`;
CREATE TABLE `ke_alarm_config`  (
  `cluster` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `alarm_group` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  `alarm_type` varchar(16) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `alarm_url` text CHARACTER SET utf8mb4 NULL,
  `http_method` varchar(16) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `alarm_address` text CHARACTER SET utf8mb4 NULL,
  `created` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `modify` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  PRIMARY KEY (`cluster`, `alarm_group`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_alarm_config
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_alarm_consumer
-- ----------------------------
DROP TABLE IF EXISTS `ke_alarm_consumer`;
CREATE TABLE `ke_alarm_consumer`  (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `cluster` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `group` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `topic` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `lag` bigint NULL DEFAULT NULL,
  `alarm_group` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `alarm_times` int NULL DEFAULT NULL,
  `alarm_max_times` int NULL DEFAULT NULL,
  `alarm_level` varchar(4) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `is_normal` varchar(2) CHARACTER SET utf8mb4 NULL DEFAULT 'Y',
  `is_enable` varchar(2) CHARACTER SET utf8mb4 NULL DEFAULT 'Y',
  `created` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `modify` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_alarm_consumer
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_alarm_crontab
-- ----------------------------
DROP TABLE IF EXISTS `ke_alarm_crontab`;
CREATE TABLE `ke_alarm_crontab`  (
  `id` bigint NOT NULL,
  `type` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `crontab` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `is_enable` varchar(2) CHARACTER SET utf8mb4 NULL DEFAULT 'Y',
  `created` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `modify` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  PRIMARY KEY (`id`, `type`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_alarm_crontab
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_connect_config
-- ----------------------------
DROP TABLE IF EXISTS `ke_connect_config`;
CREATE TABLE `ke_connect_config`  (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `cluster` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `connect_uri` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `version` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `alive` varchar(16) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `created` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `modify` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_connect_config
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_consumer_bscreen
-- ----------------------------
DROP TABLE IF EXISTS `ke_consumer_bscreen`;
CREATE TABLE `ke_consumer_bscreen`  (
  `cluster` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `group` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `topic` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `logsize` bigint NULL DEFAULT NULL,
  `difflogsize` bigint NULL DEFAULT NULL,
  `offsets` bigint NULL DEFAULT NULL,
  `diffoffsets` bigint NULL DEFAULT NULL,
  `lag` bigint NULL DEFAULT NULL,
  `timespan` bigint NULL DEFAULT NULL,
  `tm` varchar(16) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  INDEX `idx_timespan`(`timespan`) USING BTREE,
  INDEX `idx_tm_cluster_diffoffsets`(`tm`, `cluster`, `diffoffsets`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_consumer_bscreen
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_consumer_group
-- ----------------------------
DROP TABLE IF EXISTS `ke_consumer_group`;
CREATE TABLE `ke_consumer_group`  (
  `cluster` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `group` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  `topic` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  `status` int NULL DEFAULT NULL,
  PRIMARY KEY (`cluster`, `group`, `topic`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_consumer_group
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_consumer_group_summary
-- ----------------------------
DROP TABLE IF EXISTS `ke_consumer_group_summary`;
CREATE TABLE `ke_consumer_group_summary`  (
  `cluster` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `group` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  `topic_number` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  `coordinator` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `active_topic` int NULL DEFAULT NULL,
  `active_thread_total` int NULL DEFAULT NULL,
  PRIMARY KEY (`cluster`, `group`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_consumer_group_summary
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_logsize
-- ----------------------------
DROP TABLE IF EXISTS `ke_logsize`;
CREATE TABLE `ke_logsize`  (
  `cluster` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `topic` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `logsize` bigint NULL DEFAULT NULL,
  `diffval` bigint NULL DEFAULT NULL,
  `timespan` bigint NULL DEFAULT NULL,
  `tm` varchar(16) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  INDEX `idx_timespan`(`timespan`) USING BTREE,
  INDEX `idx_tm_topic`(`tm`, `topic`) USING BTREE,
  INDEX `idx_tm_cluster_diffval`(`tm`, `cluster`, `diffval`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_logsize
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_metrics
-- ----------------------------
DROP TABLE IF EXISTS `ke_metrics`;
CREATE TABLE `ke_metrics`  (
  `cluster` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `broker` text CHARACTER SET utf8mb4 NULL,
  `type` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `key` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `value` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `timespan` bigint NULL DEFAULT NULL,
  `tm` varchar(16) CHARACTER SET utf8mb4 NULL DEFAULT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_metrics
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_metrics_offline
-- ----------------------------
DROP TABLE IF EXISTS `ke_metrics_offline`;
CREATE TABLE `ke_metrics_offline`  (
  `cluster` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `key` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  `one` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `mean` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `five` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `fifteen` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  PRIMARY KEY (`cluster`, `key`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_metrics_offline
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_p_role
-- ----------------------------
DROP TABLE IF EXISTS `ke_p_role`;
CREATE TABLE `ke_p_role`  (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `name` varchar(64) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 'role name',
  `seq` tinyint NOT NULL COMMENT 'rank',
  `description` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 'role describe',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 4 CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_p_role
-- ----------------------------
INSERT INTO `ke_p_role` VALUES (1, 'Administrator', 1, 'Have all permissions');
INSERT INTO `ke_p_role` VALUES (2, 'Devs', 2, 'Own add or delete');
INSERT INTO `ke_p_role` VALUES (3, 'Tourist', 3, 'Only viewer');
 
-- ----------------------------
-- Table structure for ke_resources
-- ----------------------------
DROP TABLE IF EXISTS `ke_resources`;
CREATE TABLE `ke_resources`  (
  `resource_id` bigint NOT NULL AUTO_INCREMENT,
  `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 'resource name',
  `url` varchar(255) CHARACTER SET utf8mb4 NOT NULL,
  `parent_id` int NOT NULL,
  PRIMARY KEY (`resource_id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 25 CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_resources
-- ----------------------------
INSERT INTO `ke_resources` VALUES (1, 'System', '/system', -1);
INSERT INTO `ke_resources` VALUES (2, 'User', '/system/user', 1);
INSERT INTO `ke_resources` VALUES (3, 'Role', '/system/role', 1);
INSERT INTO `ke_resources` VALUES (4, 'Resource', '/system/resource', 1);
INSERT INTO `ke_resources` VALUES (5, 'Notice', '/system/notice', 1);
INSERT INTO `ke_resources` VALUES (6, 'Topic', '/topic', -1);
INSERT INTO `ke_resources` VALUES (7, 'Message', '/topic/message', 6);
INSERT INTO `ke_resources` VALUES (8, 'Create', '/topic/create', 6);
INSERT INTO `ke_resources` VALUES (9, 'Alarm', '/alarm', -1);
INSERT INTO `ke_resources` VALUES (10, 'Add', '/alarm/add', 9);
INSERT INTO `ke_resources` VALUES (11, 'Modify', '/alarm/modify', 9);
INSERT INTO `ke_resources` VALUES (12, 'Cluster', '/cluster', -1);
INSERT INTO `ke_resources` VALUES (13, 'ZkCli', '/cluster/zkcli', 12);
INSERT INTO `ke_resources` VALUES (14, 'UserDelete', '/system/user/delete', 1);
INSERT INTO `ke_resources` VALUES (15, 'UserModify', '/system/user/modify', 1);
INSERT INTO `ke_resources` VALUES (16, 'Mock', '/topic/mock', 6);
INSERT INTO `ke_resources` VALUES (18, 'Create', '/alarm/create', 9);
INSERT INTO `ke_resources` VALUES (19, 'History', '/alarm/history', 9);
INSERT INTO `ke_resources` VALUES (20, 'Manager', '/topic/manager', 6);
INSERT INTO `ke_resources` VALUES (21, 'PasswdReset', '/system/user/reset', 1);
INSERT INTO `ke_resources` VALUES (22, 'Config', '/alarm/config', 9);
INSERT INTO `ke_resources` VALUES (23, 'List', '/alarm/list', 9);
INSERT INTO `ke_resources` VALUES (24, 'Hub', '/topic/hub', 6);
 
-- ----------------------------
-- Table structure for ke_role_resource
-- ----------------------------
DROP TABLE IF EXISTS `ke_role_resource`;
CREATE TABLE `ke_role_resource`  (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `role_id` int NOT NULL,
  `resource_id` int NOT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 26 CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_role_resource
-- ----------------------------
INSERT INTO `ke_role_resource` VALUES (1, 1, 1);
INSERT INTO `ke_role_resource` VALUES (2, 1, 2);
INSERT INTO `ke_role_resource` VALUES (3, 1, 3);
INSERT INTO `ke_role_resource` VALUES (4, 1, 4);
INSERT INTO `ke_role_resource` VALUES (5, 1, 5);
INSERT INTO `ke_role_resource` VALUES (6, 1, 7);
INSERT INTO `ke_role_resource` VALUES (7, 1, 8);
INSERT INTO `ke_role_resource` VALUES (8, 1, 10);
INSERT INTO `ke_role_resource` VALUES (9, 1, 11);
INSERT INTO `ke_role_resource` VALUES (10, 1, 13);
INSERT INTO `ke_role_resource` VALUES (11, 2, 7);
INSERT INTO `ke_role_resource` VALUES (12, 2, 8);
INSERT INTO `ke_role_resource` VALUES (13, 2, 13);
INSERT INTO `ke_role_resource` VALUES (14, 2, 10);
INSERT INTO `ke_role_resource` VALUES (15, 2, 11);
INSERT INTO `ke_role_resource` VALUES (16, 1, 14);
INSERT INTO `ke_role_resource` VALUES (17, 1, 15);
INSERT INTO `ke_role_resource` VALUES (18, 1, 16);
INSERT INTO `ke_role_resource` VALUES (19, 1, 18);
INSERT INTO `ke_role_resource` VALUES (20, 1, 19);
INSERT INTO `ke_role_resource` VALUES (21, 1, 20);
INSERT INTO `ke_role_resource` VALUES (22, 1, 21);
INSERT INTO `ke_role_resource` VALUES (23, 1, 22);
INSERT INTO `ke_role_resource` VALUES (24, 1, 23);
INSERT INTO `ke_role_resource` VALUES (25, 1, 24);
 
-- ----------------------------
-- Table structure for ke_sql_history
-- ----------------------------
DROP TABLE IF EXISTS `ke_sql_history`;
CREATE TABLE `ke_sql_history`  (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `cluster` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `username` varchar(64) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `host` varchar(128) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `ksql` text CHARACTER SET utf8mb4 NULL,
  `status` varchar(16) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `spend_time` bigint NULL DEFAULT NULL,
  `created` varchar(32) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  `tm` varchar(16) CHARACTER SET utf8mb4 NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_sql_history
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_topic_rank
-- ----------------------------
DROP TABLE IF EXISTS `ke_topic_rank`;
CREATE TABLE `ke_topic_rank`  (
  `cluster` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `topic` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `tkey` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `tvalue` bigint NULL DEFAULT NULL,
  PRIMARY KEY (`cluster`, `topic`, `tkey`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_topic_rank
-- ----------------------------
 
-- ----------------------------
-- Table structure for ke_user_role
-- ----------------------------
DROP TABLE IF EXISTS `ke_user_role`;
CREATE TABLE `ke_user_role`  (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `user_id` int NOT NULL,
  `role_id` tinyint NOT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_user_role
-- ----------------------------
INSERT INTO `ke_user_role` VALUES (1, 1, 1);
 
-- ----------------------------
-- Table structure for ke_users
-- ----------------------------
DROP TABLE IF EXISTS `ke_users`;
CREATE TABLE `ke_users`  (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `rtxno` int NOT NULL,
  `username` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `password` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  `email` varchar(64) CHARACTER SET utf8mb4 NOT NULL,
  `realname` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8mb4 ROW_FORMAT = Dynamic;
 
-- ----------------------------
-- Records of ke_users
-- ----------------------------
INSERT INTO `ke_users` VALUES (1, 1000, 'admin', '123456', 'admin@email.com', 'Administrator');
 
SET FOREIGN_KEY_CHECKS = 1;

2.注意防火墙是否关闭，端口号是否开放

3.若果遇到类似下面的问题，可以先尝试把集群的所有kafka重新启动

其它

创建topic

./bin/kafka-topics.sh --create --zookeeper 10.X.X.105:2181 --replication-factor 1 --partitions 5 --topic my

手动删除topic

查看kafka下的topic：./bin/kafka-topics.sh --zookeeper 【zoserver】 --list
        ./bin/kafka-topics.sh --zookeeper 10.X.X.105:2181 --list
删除（做标记）：./bin/kafka-topics.sh --delete --zookeeper 【zoserver】 --topic 【topic name】
        ./bin/kafka-topics.sh --delete --zookeeper 10.X.X.105:2181 --topic  my
进入kafka的zookeeper客户端：./bin/zookeeper-shell.sh 10.X.X.105:2181
进入kafka的zookeeper后查看kafka下topic：ls /brokers/topics
真删除：rmr /brokers/topics 【topic name】
       rmr /brokers/topics my
L57645764
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
kafka的集群部署与搭建
2301_76169109的博客
11-19 326
rz 上传。
kafka监控工具kafka-eagle
07-01
kafka监控工具kafka-eagle，git下载太慢，更新与2018-07-01
大数据运维学习笔记之kafka Eagle监控kafka消息队列——筑梦之路
最新发布
筑梦之路
06-27 239
大数据运维学习笔记之kafka eagel
【kafka】Kafka 可视化工具Kafka Eagle安装和使用
michaelwoshi的博客
04-08 2万+
一、背景 Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作的管理界面，便于管理员对kafka集群进行运维管理。 Kafka Eagle提供了KSQL操作的可视化界面，让你可以非常快速的查看kafka中的消息。 K
上手第一关，手把手教你安装kafka与可视化工具kafka-eagle
战斧的博客
09-29 1万+
在本篇技术博文中，我们详细地教你如何安装kafka，还有它的可视化工具，中间也列举了一些异常以及它的处理方式，真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中，我们将讲解他们的使用及运行原理，希望同学们能喜欢。
【Kafka】Kafka监控工具Kafka-eagle简介
后端研发工程师Marion的博客
05-17 2348
Kafka-eagle是一种基于Web的开源管理工具，可以用来监控、管理多个Kafka集群。下面是使用Docker部署Kafka-eagle的步骤：下载并安装Docker和Docker Compose。等待一段时间后，您可以通过浏览器打开，进入Kafka-eagle Web UI进行操作和管理。注意：如果您使用的是云服务器，则需要确保相关端口已经被正确放行。
EFAK（kafka eagle）的介绍和保姆级安装教程
热门推荐
炼数成器
05-12 2万+
本文主要介绍Apache原版和CDH版Kafka安装kafka eagle的相关配置 简介 kafka eagle（kafka鹰） 是一款由国内公司开源的Kafka集群监控系统，可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息，并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。 官网地址 https://www.kafka-eagle.org/ github地址:https://github.com/smart.
kafka-eagle-bin-2.1.0.tar.gz
07-05
Kafka Eagle是一款针对Apache Kafka设计的开源管理工具，旨在提供一个直观且高效的监控和运维界面，以帮助管理员更好地管理和维护Kafka集群。其2.1.0版本是2022年7月发布的最新版本，包含了对Kafka各种功能的优化和...
kafka-eagle-bin-2.0.1.tar.gz
08-10
本文将深入探讨Kafka Eagle的功能、安装步骤以及如何利用其对Kafka集群进行高效监控。 一、Kafka Eagle概述 Kafka Eagle是一款开源的管理工具，主要目标是提供Kafka集群的可视化管理和监控。它不仅包含了基本的...
kafka-eagle-bin-2.0.5.tar.gz
07-07
在本文中，我们将深入探讨Kafka Eagle的功能特性、安装过程以及如何利用它来优化Kafka集群的管理。 1. **功能特性** - **实时监控**：Kafka Eagle提供了全面的监控视图，包括 broker、topic、partition、consumer...
kafka-eagle-bin-1.3.2.tar.gz
01-24
Kafka Eagle，作为一款针对Apache Kafka的高效、直观的管理和监控工具，为运维人员提供了强大的功能，帮助他们更好地理解和控制Kafka集群的运行状态。本文将深入探讨Kafka Eagle 1.3.2版本的主要特性和配置步骤。 ...
5、kafka监控工具Kafka-Eagle介绍及使用
05-29
安装完成后，通过浏览器访问 Kafka-Eagle 的 Web 界面（默认端口是 8080），输入配置的 Kafka 集群信息进行连接。验证部署是否成功，可以通过界面检查 Kafka 集群的各项监控数据是否正常显示。 使用 Kafka-Eagle ...
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你
weixin_43398645的博客
07-08 3667
Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这个流行的消息中间件！ Kafka简介 Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发布
Kafka-Eagle 安装到使用全教程
hzp666的博客
12-08 2692
KafkaEagle监控系统是一款用来监控Kafka集群的工具，目前更新的版本是v1.2.3，支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。官方安装包下载：http://download.kafka-eagle.org/ 个人使用版本为1.4.4最新下载好之后指定目录解压压缩包，接下来开始环境变量得配置。由于源代码核心实现采用的是Java语言，所以需要配置JDK环境，建议采用JDK8以上。配置内容如下：增加变
Kafka高级(3)-监控工具Kafka-eagle介绍
qq_32677137的博客
10-29 1141
Kafka高级(3)-监控工具Kafka-eagle介绍 Kafka-Eagle简介 在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。 早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Ma
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你！
m0_57227221的博客
07-14 7322
摘要 Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这个流行的消息中间件！ Kafka简介 Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发
（二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
厉害哥哥的博客
09-10 2056
本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作者往期博客内容。新版本的kafka集群分为俩种搭建方式，一种依赖zookeeper，一种使用Kraft模式，本节内容我们主要介绍zookeeper模式的kafka集群搭建部署。
kafka-eagle-bin-2.1.0
08-01
Kafka Eagle 是一个针对 Apache Kafka 的监控和管理工具。kafka-eagle-bin-2.1.0 是 ...用户可以根据自己的需求选择合适的版本来安装和使用 Kafka Eagle。为了保持系统的稳定性和安全性，建议及时更新到最新的版本。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值