集群配置Kafka，可视化

最新推荐文章于 2024-05-13 23:45:00 发布
最新推荐文章于 2024-05-13 23:45:00 发布
阅读量162 收藏
点赞数
分类专栏： Kafka 文章标签： kafka linq 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56671119/article/details/132532833
版权

目录

集群配置Kafka

  • 下载https://kafka.apache.org/downloads

在这里插入图片描述

  • 上传到master节点的/export/software目录下，并解压
[root@master software]# tar -zxf kafka_2.12-3.5.0.tgz -C /export/servers/
  • 主节点master上创建日志文件夹
[root@master kafka_2.12-3.5.0]# mkdir logs
[root@master kafka_2.12-3.5.0]# pwd
/export/servers/kafka_2.12-3.5.0/logs
  • 进入kafka安装目录，配置service.properties文件
[root@master config]# pwd
/export/servers/kafka_2.12-3.5.0/config

broker.id=1
listeners=PLAINTEXT://master:9092
log.dirs=/export/servers/kafka_2.12-3.5.0/logs
zookeeper.connect=master:2181,hadoop01:2181,hadoop02:2181
delete.topic.enble=true
  • 将配置完的kafka分发至hadoop01、hadoop02机器
scp -r /export/servers/kafka_2.12-3.5.0 hadoop01:/export/servers
scp -r /export/servers/kafka_2.12-3.5.0 hadoop02:/export/servers
  • hadoop01配置service.properties文件
broker.id=3
listeners=PLAINTEXT://hadoop01:9092
  • hadoop02配置service.properties文件
broker.id=5
listeners=PLAINTEXT://hadoop02:9092
  • List item

在主节点master配置环境变量

$ vim /etc/profile 

# kafka
export KAFKA_HOME=/export/servers/kafka_2.12-3.5.0
export PATH=$PATH:$KAFKA_HOME/bin

$ source /etc/profile  # 使配置文件生效
  • 查看环境变量是否配置成功
[root@master config]# kafka-
kafka-acls.sh                       kafka-delegation-tokens.sh          kafka-log-dirs.sh                   kafka-server-start.sh
kafka-broker-api-versions.sh        kafka-delete-records.sh             kafka-metadata-quorum.sh            kafka-server-stop.sh
kafka-cluster.sh                    kafka-dump-log.sh                   kafka-metadata-shell.sh             kafka-storage.sh
kafka-configs.sh                    kafka-e2e-latency.sh                kafka-mirror-maker.sh               kafka-streams-application-reset.sh
kafka-console-consumer.sh           kafka-features.sh                   kafka-producer-perf-test.sh         kafka-topics.sh
kafka-console-producer.sh           kafka-get-offsets.sh                kafka-reassign-partitions.sh        kafka-transactions.sh
kafka-consumer-groups.sh            kafka-jmx.sh                        kafka-replica-verification.sh       kafka-verifiable-consumer.sh
kafka-consumer-perf-test.sh         kafka-leader-election.sh            kafka-run-class.sh                  kafka-verifiable-producer.sh
[root@master config]# kafka-
  • 将配置文件分发给hadoop01和hadoop02节点
$ xsync /etc/profile
  • 登录hadoop01和hadoop02节点source环境变量
$ source /etc/profile

启动Zookeeper

  • 在master、hadoop01和hadoop02节点上分别启动zookeepr,全部启动后查看status
[root@master ~]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /export/servers/zookeeper-3.7.1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@master ~]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /export/servers/zookeeper-3.7.1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
[root@master ~]# 

[root@hadoop01 config]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /export/servers/zookeeper-3.7.1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@hadoop01 config]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /export/servers/zookeeper-3.7.1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader
[root@hadoop01 config]# 

[root@hadoop02 config]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /export/servers/zookeeper-3.7.1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@hadoop02 config]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /export/servers/zookeeper-3.7.1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
[root@hadoop02 config]#

启动Kafka

  • 在master、hadoop01和hadoop02节点上分别启动Kafka，-daemon后台运行
# 进入/export/servers/kafka_2.12-3.5.0/config目录下
[root@master ~]# cd /export/servers/kafka_2.12-3.5.0/config

# 启动命令  -daemon后台运行
[root@master config]# kafka-server-start.sh -daemon server.properties 
[root@master config]# jps
2961 QuorumPeerMain
3670 Jps
3628 Kafka
[root@master config]# 

# hadoop01和hadoop02同理

# 停止kafka运行
$ kafka-server-stop.sh
  • 测试
[root@master bin]# ls
docker-compose  jps  myhadoop-start  myhadoop-stop  mykafka.sh  myshutdown  myzk.sh  xcall  xsync
[root@master bin]# mykafka.sh start
---------- kafka  master 启动 ----------
---------- kafka  hadoop01 启动 ----------
---------- kafka  hadoop02 启动 ----------
[root@master bin]# xcall
=============== master ===============
5127 Jps
5002 Kafka
4269 QuorumPeerMain
=============== hadoop01 ===============
4594 Kafka
4731 Jps
3885 QuorumPeerMain
=============== hadoop02 ===============
4564 Kafka
3863 QuorumPeerMain
4699 Jps
[root@master bin]#

Kafka启停脚本

  • 启动
#!/bin/bash

case $1 in
"start"){
	for i in master hadoop01 hadoop02
	do
		echo "---------- kafka  $i 启动 ----------"
		ssh $i "/export/servers/kafka_2.12-3.5.0/bin/kafka-server-start.sh -daemon /export/servers/kafka_2.12-3.5.0/config/server.properties"
	done
};;

"stop"){
	for i in master hadoop01 hadoop02
	do
		echo "---------- kafka  $i 停止 ----------"
		ssh $i "/export/servers/kafka_2.12-3.5.0/bin/kafka-server-stop.sh"
	done
};;
esac

登录zookeeper客户端，查看/brokers/ids

[root@master ~]# zkCli.sh

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, flink, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /brokers 
[ids, seqid, topics]
[zk: localhost:2181(CONNECTED) 3] ls /brokers/ids 
[1, 3, 5]
[zk: localhost:2181(CONNECTED) 4]

验证Kafka使用

  • kafka-console-producer.sh用于生产消息
# 在master节点发布主题
[root@master config]# kafka-console-producer.sh --topic topic1 --broker-list master:9092
>fsdaf
>hello
  • kafka-console-consumer.sh用于消费消息
# 在hadoop01节点连接master上发布的主题
[root@hadoop01 config]# kafka-console-consumer.sh --bootstrap-server master:9092 --topic topic1
hello
test
  • 消费者连接之后，实时接收来自该主题下的消息
  • 查看消费组及信息
[root@master ~]# kafka-consumer-groups.sh --bootstrap-server master:9092 --list
console-consumer-79171
[root@master ~]# kafka-consumer-groups.sh --bootstrap-server master:9092 --describe --group console-consumer-79171

GROUP                  TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                           HOST             CLIENT-ID
console-consumer-79171 topic1          0          -               7               -               console-consumer-6d8bbc8d-d579-46bf-8838-c6671d895d92 /192.168.159.130 console-consumer

# Currennt-offset：当前消费组的已消费偏移量
# Log-end-offset：主题对应分区消息的结束偏移量(HW)
# Lag：当前消费组未消费的消息数

可视化工具kafka-eagle

  • 下载：https://github.com/smartloli/kafka-eagle-bin/archive/v2.1.0.tar.gz
  • 上传到master节点，并解压
$ cd /export/software
$ tar -zxvf kafka-eagle-bin-2.1.0.tar.gz  # 解压出一个efak-web-2.1.0-bin.tar.gz压缩包
$ tar -zxvf efak-web-2.1.0-bin.tar.gz -C /export/servers
  • 进入eagle的安装目录
[root@master efak-web-2.1.0]# pwd
/export/servers/efak-web-2.1.0
  • 配置环境变量KE_HOME
$ vim /etc/profile

# kafka eagle web
export KE_HOME=/export/servers/efak-web-2.1.0
export PATH=$PATH:$KE_HOME/bin

$ source /etc/profile
  • 修改配置文件$KE_HOME/conf/system-config.properties
efak.zk.cluster.alias=cluster1

cluster1.zk.list=master:2181,hadoop01:2181,hadoop02:2181

######################################
# 下面两项是配置数据库的，默认使用sqlite，如果量大，建议使用mysql，这里我使用的是sqlit
# kafka sqlite jdbc driver address
######################################
efak.driver=org.sqlite.JDBC
efak.url=jdbc:sqlite:/export/servers/efak-web-2.1.0/db/ke.db
efak.username=root
efak.password=123456

######################################
# kafka mysql jdbc driver address
######################################
#efak.driver=com.mysql.cj.jdbc.Driver
#efak.url=jdbc:mysql://localhost:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#efak.username=root
#efak.password=123456
  • 启动
$ ke.sh start

在这里插入图片描述

  • 登录页面查看，默认用户名和密码为 admin ，123456

在这里插入图片描述
在这里插入图片描述

​

MillySun
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
CMAK Kafka可视化管理工具
跟着大数据和AI去旅行
11-21 1075
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 CMAK（原名Kafka Manager）。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。kafka-manager 项目地址：https://github.com/yahoo/kafka-manager。
新版kafka可视化界面组件
surge
09-19 843
但是因为项目是Springboot写的，docker部署的，如果添加集群可以重建docker容器，或者修改配置文件，重启容器，具体可以查看项目github说明，因为我没有用配置文件，这里没有详细介绍。连接SSL认证的kafka需要额外添加如下四个环境变量，其中KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_LOCATION变量指定的配置文件需要时在配置ssl时候提前生成的，如果需要做SSL认证，和生成证书，可以参考我写的这篇文章。连接带认证的kafka集群。
Kafka集群搭建可视化指南
todoitbo的博客
04-20 1317
本文将深入探讨Kafka集群的搭建过程，从基础概念到实际操作，带领读者一步步构建高效稳定的数据流处理系统。通过详细的步骤和实例，读者将了解如何配置、部署和优化Kafka集群，以满足不同规模和需求的数据处理场景。
Kafka的配置文件详解及优化
最新发布
lixinkuan的博客
05-13 1641
生产者把消息发送到broker之后，并且消息被写入到本地文件，才认为发送成功，这是第二种情况；#而broker集群是不会进行解压缩的，broker集群只会把消息发送到消费者集群，然后由消费者来解压缩。#生产者将消息发送到broker，有两种方式，一种是同步，表示生产者发送一条，broker就接收一条；#此时,如果消息的条数达到阀值,将会导致producer端阻塞或者消息被抛弃，默认为10000条消息。#还有一种是异步，表示生产者积累到一批的消息，装到一个池子里面缓存起来，再发送给broker，
kafka map kafka可视化工具
FSWZYC的博客
01-02 1402
kafka可视化工具。
使用docker搭建kafka集群、可视化操作台
qq_39203337的博客
10-10 612
注意：103和104启动kafka的区别就是指定不同的KAFKA_BROKER_ID，如果是以配置文件启动的，在配置文件中修改即可。本次基于docker搭建kafka集群，zookeeper使用单实例。b 启动zookeeper容器。e 拉取kafka-map镜像。f 启动kafka-map容器。a 拉取zookeeper镜像。c 拉取kafka镜像。d 启动kafka容器。a 拉取kafka镜像。b 启动kafka容器。
kafka可视化工具整理（七）
热门推荐
qq_36602951的博客
03-01 1万+
零、主流kafka可视化工具有两种 ①安装在本地的服务，通过网络连接kafka拉取数据并展示 比如：offsetexplorer 应用 ②安装在服务器上应用，通过服务器自行拉取代码，对外提供Web，查看kafka的状态及数据。比如：kafdrop应用 一、本地服务 offsetexplorer 1、去kafkatool官网下载Offset Explorer，可以安装windows版本或者linux版本 下载安装 2、启动配置 后续就可以查看topic数据 修改文字类型如图 ..
Apache Kafka 可视化工具调研
hantangduhey的博客
09-05 3957
Apache Kafka 可视化工具调研
linux安装kafka3.5.2、kafka可视化管理工具kafka-ui-lite
muls1的博客
04-23 2153
linux安装kafka3.5.2、kafka可视化管理工具kafka-ui-lite。
kafka可视化界面kibana_安装配置Kibana以及使用Kibana可视化数据
weixin_39955829的博客
12-22 841
本课程基于ELK(elasticsearch6.3.x、logstash6.3.x、Kibana6.3.x、Filebeat6.3.x)**版本授课。ELK是目前行业中非常热门的一个技术，它可以用于电商网站、门户网站、企业IT系统等各种场景下，也可以用于对海量的数据进行近实时的数据分析。ELK呢，就是给运维提供辅助的一个应用套件。运维工作就是对各种业务系统进行监控，发现问题，能够及时告警，然后能够...
kafka可视化工具
01-03
**Kafka可视化工具详解** Kafka作为一款分布式流处理平台，广泛应用于大数据处理和实时数据传输。为了便于管理和监控Kafka集群，各种可视化工具应运而生，其中就包括我们今天要讨论的“Kafka Tool”。它是一款专为...
kafka可视化工具--kafkatool
03-25
然而，管理Kafka集群和操作其组件（如topics、partitions、offsets等）可能会变得复杂，这时就需要一些可视化工具来简化这一过程。Kafkatool就是这样一款强大的Kafka管理工具，它提供了丰富的功能，帮助用户直观地...
kafka可视化客户端
03-19
【Kafka 可视化客户端】是用于管理和监控 Apache Kafka 集群的强大工具，它提供了直观的图形用户界面（GUI），使得用户可以轻松地查看、管理以及操作 Kafka 的主题、消费者、生产者等组件。Kafka 是一个分布式流处理...
kafka manager可视化管理工具
08-15
Kafka Manager作为Kafka的可视化工具，极大地简化了集群的管理和监控工作，但同时也需要用户具备一定的Kafka知识，以避免误操作。了解其主要功能和使用注意事项，结合JMX的监控能力，可以更有效地管理和优化Kafka...
kafkatool kafka可视化工具
01-23
为了更好地管理和监控 Kafka 集群，开发人员和运维人员经常需要借助一些可视化工具。本文将详细介绍 "Kafka Tool" 这款64位的 Kafka 可视化工具，帮助用户更直观地理解其功能、安装过程以及如何利用它提升 Kafka 的...
kafka消息管理可视化运行软件
06-21
Kafka消息管理可视化运行软件是一种基于Java开发的工具，它为Apache Kafka提供了用户友好的图形化界面，使得管理和监控Kafka集群变得更加直观和便捷。Kafka是一个分布式流处理平台，常用于实时数据处理和大数据传输...
kafka eagle 可视化工具压缩包
06-20
**Kafka Eagle** 是一个专为 Apache Kafka 设计的开源可视化管理工具，它提供了一整套功能，使得 Kafka 的监控、管理和运维变得更加便捷。这款工具的压缩包包含了所有必要的文件，便于用户下载后直接进行安装和使用...
可视化kafka测试工具
11-14
6. **优化与调整**：根据测试结果，优化Kafka集群配置或调整测试参数，进行再次测试。 通过这样的可视化工具，开发和运维团队能更有效地进行Kafka的测试工作，确保系统的稳定性和高效性。对于大型企业或复杂的数据...
kafka可视化工具 windows
08-17
总之，Kafka可视化工具是用于简化Kafka集群管理和监视的工具。对于Windows平台，有多种可供选择的工具，包括开源和商业版本。这些工具提供了丰富的功能，使用户能够更加方便地管理和监视他们的Kafka集群。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值