kafka集群部署

已于 2022-05-06 09:05:02 修改
阅读量1.8k 收藏 1
点赞数
分类专栏： 云原生 文章标签： kafka 大数据
于 2022-04-20 08:40:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43757027/article/details/124288522
版权

kafka集群部署

一、环境规划

组成安装节点版本
java1.8192.168.15.139 192.168.8.135 192.168.8.1361.8.0_212
kafka192.168.15.139 192.168.8.135 192.168.8.1363.1.0
zookeeper192.168.15.139 192.168.8.135 192.168.8.1363.1.0kafka自带
efak-web192.168.15.1392.1.0

二、安装kafka和zookeeper

1.下载kafka3.0以上版本，自带zookeeper

cd /usr/local

wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz --no-check-certificate

tar -zxvf kafka_2.13-3.1.0.tgz（我这里解压了两次）

cd kafka_2.13-3.1.0/

2.编辑配置文件

vim config/server.properties

broker.id=0
listeners=PLAINTEXT://192.168.15.139:9092
log.dirs=/usr/local/kafka_2.13-3.1.0/kafka-logs
zookeeper.connect=192.168.15.139:2181,192.168.8.135:2181,192.168.8.136:2181

把kafka的包同步到另外两个节点

scp -r kafka_2.13-3.1.0 root@192.168.8.135:/usr/local/
scp -r kafka_2.13-3.1.0 root@192.168.8.136:/usr/local/

其它两个节点配置文件修改为

broker.id=1
listeners=PLAINTEXT://192.168.8.135:9092
log.dirs=/usr/local/kafka_2.13-3.1.0/kafka-logs
zookeeper.connect=192.168.15.139:2181,192.168.8.135:2181,192.168.8.136:2181

broker.id=2
listeners=PLAINTEXT://192.168.8.136:9092
log.dirs=/usr/local/kafka_2.13-3.1.0/kafka-logs
zookeeper.connect=192.168.15.139:2181,192.168.8.135:2181,192.168.8.136:2181

3.配置环境变量（三个节点都需要）

# 添加环境变量
vi /etc/profile
# 新增环境变量配置
export KAFKA_HOME=/usr/local/kafka_2.13-3.1.0
export PATH=$PATH:$KAFKA_HOME/bin
# 使得环境变量立刻生效
source /etc/profile

3.启动zookeeper

bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties &

4.启动kafka

bin/kafka-server-start.sh -daemon ./config/server.properties &

5.常用命令


#topic创建
./kafka-topics.sh --create --bootstrap-server IP:9092 --replication-factor 1 --partitions 1 --topic test1
 
#当前topic列表查看
./kafka-topics.sh --list --bootstrap-server IP:9092
 
#修改topic的partition数
kafka-topics.sh --bootstrap-server IP:9092 --alter --topic mytest --partitions 5
 
#topic对应的消息查看
./kafka-topics.sh --describe --bootstrap-server IP:9092
 
#topic删除
./kafka-topics.sh --delete --bootstrap-server IP:9092  --topic test1
 
#查看消费者组列表
./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list
#查看消费者组的消费情况：
./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group invoiceUpload

三、安装kafka管理工具

1.下载并解压efak

mkdir -p /usr/local/kafka_2.13-3.1.0/efak

wget https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/refs/tags/v2.1.0

tar -zxvf efak-web-2.1.0-bin.tar.gz

2.编辑system-config.properties

修改的地方看中文注释处

######################################
我们只有一个集群，把clustre2注释，cluster1.zk.list修改为zookeeper的集群节点，和kafka配置文件上的一致
######################################
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.15.139:2181,192.168.8.135:2181,192.168.8.136:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123

######################################
# broker size online list
######################################
cluster1.efak.broker.size=20

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=16

######################################
# EFAK webui port
######################################
efak.webui.port=8048

######################################
# EFAK enable distributed
######################################
efak.distributed.enable=false
efak.cluster.mode.status=master
efak.worknode.master.host=localhost
efak.worknode.port=8085

######################################
# kafka jmx acl and ssl authenticate
######################################
cluster1.efak.jmx.acl=false
cluster1.efak.jmx.user=keadmin
cluster1.efak.jmx.password=keadmin123
cluster1.efak.jmx.ssl=false
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
cluster1.efak.jmx.truststore.password=ke123456

######################################
# kafka offset storage
######################################
cluster1.efak.offset.storage=kafka
cluster2.efak.offset.storage=zk

######################################
# kafka jmx uri
######################################
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

######################################
# kafka metrics, 15 days by default
######################################
efak.metrics.charts=true
efak.metrics.retain=15

######################################
# kafka sql topic records max
######################################
efak.sql.topic.records.max=5000
efak.sql.topic.preview.records.max=10

######################################
# delete kafka topic token
######################################
efak.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.efak.sasl.enable=false
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
cluster1.efak.sasl.mechanism=SCRAM-SHA-256
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.efak.sasl.client.id=
cluster1.efak.blacklist.topics=
cluster1.efak.sasl.cgroup.enable=false
cluster1.efak.sasl.cgroup.topics=
cluster2.efak.sasl.enable=false
cluster2.efak.sasl.protocol=SASL_PLAINTEXT
cluster2.efak.sasl.mechanism=PLAIN
cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.efak.sasl.client.id=
cluster2.efak.blacklist.topics=
cluster2.efak.sasl.cgroup.enable=false
cluster2.efak.sasl.cgroup.topics=

######################################
# kafka ssl authenticate
######################################
cluster3.efak.ssl.enable=false
cluster3.efak.ssl.protocol=SSL
cluster3.efak.ssl.truststore.location=
cluster3.efak.ssl.truststore.password=
cluster3.efak.ssl.keystore.location=
cluster3.efak.ssl.keystore.password=
cluster3.efak.ssl.key.password=
cluster3.efak.ssl.endpoint.identification.algorithm=https
cluster3.efak.blacklist.topics=
cluster3.efak.ssl.cgroup.enable=false
cluster3.efak.ssl.cgroup.topics=

######################################
# 如果不用MySQL的话，把sqlite 注释放开
######################################
efak.driver=org.sqlite.JDBC
efak.url=jdbc:sqlite:/usr/local/kafka_2.13-3.1.0/efak/db/ke.db
efak.username=root
efak.password=anychat

######################################
#mysql的版本要8.0以上我的是5.7不符合，用自带的sqlite
######################################
#efak.driver=com.mysql.cj.jdbc.Driver
#efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#efak.username=root
#efak.password=anychat

3.启动

# 进入启动命令文件夹
cd /usr/local/kafka_2.13-3.1.0/efak/efak-web-2.1.0/bin
# 授权
chmod 777 ke.sh
# 启动 服务
ke.sh start
# 重启
ke.sh restart
# 停止服务
ke.sh stop

4.访问

ip:8048
admin/123456

在这里插入图片描述

森林迷了~鹿
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka3.4.0集群搭建（无zookeeper）
weixin_51338637的博客
03-23 4881
2.8版本及以上kafka集群搭建，移除zookeeper
使用sasl的kafka集群的搭建使用
03-15
搭建基于sasl的安全认证的kafka集群，并配置acl，使用户能分权分域接受发送消息
kafka3.X集群安装(不使用zookeeper)
zhangjunli的博客
10-25 3553
kafka3.X集群安装(不使用zookeeper)
Kafka：Kraft 模式集群部署（无需zookeeper）
程序员无羡的博客
04-09 656
Kafka：Kraft 模式集群部署（无需zookeeper）
Kafka Without ZooKeeper ---- 不使用zookeeper的kafka集群
杰特JET的博客
04-13 3103
不使用zookeeper的kafka集群前言ZooKeeper的缺点Kakfa Without ZooKeeper简介Kakfa Without ZooKeeper的优势总结参考链接 前言 大名鼎鼎的Kafka作为最出名的消息处理中间件，Zookeeper在其中提供一致性服务，并且承担了选主、服务发现、服务注册、存储各种Kafka的各种元数据。 随着Kafka的演进，Kafka自己也变成了一个复杂的分布式系统，它和zookeeper一样，都对外提供一致性服务。Kafka在其系统内再维护一套zookeepe
Kafka集群部署
06-22
原创，Kafka集群部署，亲测可用。不懂可评论留言。文档写的简单60行搞定。
kafka集群部署、监控
08-13
zookeeper集群部署，kafka集群部署，kafka介绍，topic创建、删除、kafka监控
HyperLedger Fabric开发实战 -Kafka集群部署
01-20
第5章 Kafka集群部署 根据前面章节的介绍，知道了Fabric组网过程的第一步是需要生成证书等文件，而这些默认配置信息的生成依赖于configtx.yaml及crypto-config.yaml配置文件。 在采用Kafka作为启动过类型的Fabric...
kafka集群部署文档(部署，运维，FAQ)
06-27
kafka集群部署文档及kafka详解，包括kafka常用命令，详细部署说明，如何运维以及一些FAQ，下载app注册免费获取：http://m3w.cn/jcsh
linux Redhat Kafka集群部署
11-19
redhat linux 部署Kafka集群
【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建
最新发布
hiliang521的博客
12-12 2799
>本文主要介绍了 >- kafka raft集群架构： > 与旧架构的不同点，有哪些优势，哪些问题 > 架构成员有哪些，怎么规划。 > - 三节点集群安装、启动与测试
Kafka2.8无Zookeeper模式下集群部署
wanliti1314的博客
04-29 3163
一：介绍 kafka在Ralf协议上实现了KRalf，并用此替代了Zookeeper，目前2.8可以开始使用无Zookeeper模式，但官方不建议生产用。具体的协议原理以及说明请自行Baidu或者Google 二：单机部署 下载kafka2.8，解压。可以看到config里面有kraft文件目录。kraft目录下有三个配置文件以及一个readme.md,查看readme.md,也就是你目前能看到的官方给出的无zookeeper模式的配置方式和教程。如果你按照这个部署单节点，看前半部分就够了，很简单。但
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你
weixin_43398645的博客
07-08 3513
Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这个流行的消息中间件！ Kafka简介 Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发布
kafka
java小兵
10-09 680
目录 官方文档： 一、简介： 高性能 分区的设计 顺序读写 零拷贝技术 减少网络传输上的开销 基础组件： kafka节点：broker 主题：topic 分区：partition 副本：Replication 同步副本集合ISR（in-sync replicas） 概念： 特点： 非同步状态副本OSR（Outof-sync Replicas） partition中leader replication的选举： Kafka 为何不采用大多数投票机制(quorum算法)来选举l
Kafka3.0.0教程 一（从入门到调优，深入全面）
xuxie13的博客
06-27 1534
ka
Kafka集群部署、sasl安全认证
dasnotsad的博客
11-15 2182
Zookeeper集群部署： Kafka是依赖于zookeeper，需要先将zooleeper启动起来。首先可以从http://zookeeper.apache.org/releases.html 下载最新版zookeeper（当前版本3.4.13），进入其中的conf文件夹，可以看到一个名为zoo_sample.cfg的文件。我们把它另存为一个zoo.cfg文件，然后打开，可以看到zookeep...
手把手教你搭建Kafka(带SASL认证)+ELK集群 - 三 Kafka集群安装
少说多做
08-19 923
接上一篇 手把手教你搭建Kafka(带SASL认证)+ELK集群 - 二https://blog.csdn.net/lwlfox/article/details/119801897 部署Kafka 创建kafka 用户 useradd kafka 将kafka_2.13-2.8.0.tgz 文件上传到服务器并解压到/data目录中 tar -zxvf kafka_2.13-2.8.0.tgz -C /data/ && chown -R kafka:kafka /da
kafka集群搭建+权限认证（SASL/SCRAM）+整合springboot
xianglinsao123的专栏
03-19 6144
1、创建kafka日志和zookeeper文件目录： /data/kafka/kafka-logs /data/zookeeper/zkdata /data/zookeeper/zklogs 2、修改kafka配置文件server.properties 2.1、将原文件重命名为server.properties_bak20220311 2.2、新建server.properties，编辑： # fixed params listeners=PLAINTEXT://10.132.105.20:9092 a
Hello Kafka（六）——Kafka集群部署
天山老妖
02-24 1767
一、Kafka集群部署方案规划 1、操作系统选择 通常，生产环境应该将Kafka集群部署在Linux操作系统上，原因如下： （1）Kafka客户端底层使用了Java的selector，selector在Linux上的实现机制是epoll，而在Windows平台上的实现机制是select，因此Kafka部署在Linux上能够获得更高效的I/O性能。 （2）网络传输效率的差别。Kafka需要在磁盘和网络间进行大量数据传输，在Linux部署Kafka能够享受到零拷贝（Zero Copy）技术所带来的快速数
kafka集群 部署
07-27
Zookeeper和Kafka集群搭建是一种常用的架构设计方法。Zookeeper是一种分布式的协调服务，在Kafka集群搭建中主要用于存储元数据信息和管理集群的状态。而Kafka则是一种高吞吐量的消息队列系统，可实现大规模的数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值