linux(centos)部署kafka(单点快速开始；单机器部署集群；多机器部署集群)

已于 2024-03-12 10:44:50 修改
阅读量1.3k 收藏 2
点赞数 1
分类专栏： kafka 部署 linux 文章标签： linux centos
于 2021-01-20 11:31:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sublio/article/details/112858046
版权
kafka 同时被 3 个专栏收录
2 篇文章 0 订阅
订阅专栏
部署
2 篇文章 0 订阅
订阅专栏
linux
2 篇文章 0 订阅
订阅专栏

转载请注明出处：linux(centos)部署kafka(单点快速开始；单机器部署集群；多机器部署集群)_centos 部署kafka 3.5集群-CSDN博客

目录

注意：

下载解压

单点快速开始

单点搭建遇到的坑：

单台linux上kafka集群搭建：

先弄zk集群：

再弄kafka集群

搭好要测试哦！！！

多台机器集群搭建

先搭建zk集群

再搭建kafka集群

搭好要测试哦！！！

参考文献：

注意：

1、单台机器上又部署zk，又部署kafka，比较吃内存，一开始可能还好，能启动起来，但是内存不够的话，后面可能用着用着kafka就挂掉一个节点。

2、我这里在进行集群部署的时候只部了三个，不过实际使用的时候最好部署五个，避免一个节点挂掉之后，剩下两个争夺主，而导致不可用。

下载解压

#下载解压
#wget https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz
#域名变了
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
tar -xvzf kafka_2.13-2.6.0.tgz
cd kafka_2.13-2.6.0

单点快速开始

#后台启动zk
#注：单点启动的zk配置文件用默认的就好了,也可以进去改一下dataDir，dataLogDir，clientPort啥的
#注：可以先用bin/zookeeper-server-start.sh config/zookeeper.properties前台启动
#看一看是否有报错
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

#修改配置文件中的几个配置项
vim config/server.properties
#监听地址：如果没有配置默认为localhost:9092
listeners=PLAINTEXT://你的ip:9092
#日志路径
log.dirs=/tmp/kafka-logs
#连接zk的地址，如果上面zk的配置文件改了这里也要改
zookeeper.connect=localhost:2181
#partitions数量
num.partitions=10
#自动创建主题，可选项，自己决定是否设置
auto.create.topics.enable=true
#factor的几个相关参数:
#注：这些参数默认为1，但是如果搭建单点的时候该大，启动就会报错
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
default.replication.factor=1

#后台启动kafka
#同样可以前台先启动看一下日志
nohup bin/kafka-server-start.sh config/server.properties &

#搭建完要进行测试哦！！！！！

单点搭建遇到的坑：

1、自己搭的时候为了方便把别人搭好的kafka集群的配置文件拷过来用了，factor相关参数都设置成了2，就一直启不起来，后来全部改为1，就好了。

offsets.topic.replication.factor=2
transaction.state.log.replication.factor=2
default.replication.factor=2

单台linux上kafka集群搭建：

先弄zk集群：

1、搞三个配置文件，主要配置项如下，可以看出来，主要是dataDir，dataLogDir以及clientPort不一样：

#config/zookeeper.properties01
dataDir=/data/kafka-relate/zookeeper01
dataLogDir=/data/kafka-relate/zookeeper01

clientPort=2181

maxClientCnxns=60
admin.enableServer=false

initLimit=10
syncLimit=5

#server后面的序号要写到dataDir的myid文件中
server.1=ip:2881:3881
server.2=ip:2882:3882
server.3=ip:2883:3883
#config/zookeeper.properties02
dataDir=/data/kafka-relate/zookeeper02
dataLogDir=/data/kafka-relate/zookeeper02

clientPort=2182

maxClientCnxns=60
admin.enableServer=false

initLimit=10
syncLimit=5

#server后面的序号要写到dataDir的myid文件中
server.1=ip:2881:3881
server.2=ip:2882:3882
server.3=ip:2883:3883
#config/zookeeper.properties03
dataDir=/data/kafka-relate/zookeeper03
dataLogDir=/data/kafka-relate/zookeeper03

clientPort=2183

maxClientCnxns=60
admin.enableServer=false

initLimit=10
syncLimit=5

#server后面的序号要写到dataDir的myid文件中
server.1=ip:2881:3881
server.2=ip:2882:3882
server.3=ip:2883:3883

2、到各自的dataDir里面创建myid文件

echo "1" > /data/kafka-relate/zookeeper01/myid
echo "2" > /data/kafka-relate/zookeeper02/myid
echo "3" > /data/kafka-relate/zookeeper03/myid

3、启动（可以先前台启动，看看启动会是否成功，再用后台启动）

注：这里前台启动第一个的时候会有连接不到后两个的警告，应该是正常的，因为后两个还没启。

nohup bin/zookeeper-server-start.sh config/zookeeper.properties01 &
nohup bin/zookeeper-server-start.sh config/zookeeper.properties02 &
nohup bin/zookeeper-server-start.sh config/zookeeper.properties03 &

可以用supercisor启动，注意这里要加上 environment，下面给出了一个示例。

[program:zookeeper01]
directory = /opt/kafka_2.13-2.6.0/bin
environment = JAVA_HOME=/usr/java/jdk1.8.0_121; JAVA_OPTS='-server -Xms8175m -Xmx8175m -Xmn512m -Xss256k -XX:PermSize=256m -XX:MaxPermSize=256m -XX:SurvivorRatio=8 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+UseCMSCompactAtFullCollection -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=70 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=8045 -Djava.rmi.server.hostname=ip'; CLASSPATH=/usr/local/tomcat/bin/bootstrap.jar:/usr/java/jdk1.8.0_121/lib/tools.jar:/usr/local/tomcat/common/lib/servlet.jar; PATH=/usr/java/jdk1.8.0_121/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/sbin:/usr/sbin
command = /opt/kafka_2.13-2.6.0/bin/zookeeper-server-start.sh /opt/kafka_2.13-2.6.0/config/zookeeper.properties01
autostart = true
startsecs = 10
autorestart = true
startretries = 50
user = root
redirect_stderr = true
stdout_logfile_maxbytes = 20MB
stdout_logfile_backups = 20
stdout_logfile = /data/kafka-relate/zookeeper01/supervisor.logs

再弄kafka集群

1、先弄多个配置文件，这里只列出一下需要注意的点：

#config/server.properties01
broker.id=1
listeners=PLAINTEXT://ip:9092
log.dirs=/data/kafka-relate/kafka-logs01

#上面设置的zk地址
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

#partitions数量
num.partitions=10

#自动创建主题，可选项，自己决定是否设置
auto.create.topics.enable=true

#factor相关参数，从别人多台集群抄来的：
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=2
default.replication.factor=2

#config/server.properties02
broker.id=2
listeners=PLAINTEXT://ip:9093
log.dirs=/data/kafka-relate/kafka-logs02

#上面设置的zk地址
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

#partitions数量
num.partitions=10

#自动创建主题，可选项，自己决定是否设置
auto.create.topics.enable=true

#factor相关参数，从别人多台集群抄来的：
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=2
default.replication.factor=2

#config/server.properties03
broker.id=3
listeners=PLAINTEXT://ip:9094
log.dirs=/data/kafka-relate/kafka-logs03

#上面设置的zk地址
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

#partitions数量
num.partitions=10

#自动创建主题，可选项，自己决定是否设置
auto.create.topics.enable=true

#factor相关参数，从别人多台集群抄来的：
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=2
default.replication.factor=2

2、启动（可以先前台启动，看看启动会是否成功，再用后台启动）

nohup bin/kafka-server-start.sh config/server.properties01 &
nohup bin/kafka-server-start.sh config/server.properties02 &
nohup bin/kafka-server-start.sh config/server.properties03 &

搭好要测试哦！！！

1、添加一个top

2、生产

3、消费

多台机器集群搭建

先搭建zk集群

1、配置文件

#config/zookeeper.properties
dataDir=/data/kafka-relate/zookeeper
dataLogDir=/data/kafka-relate/zookeeper

clientPort=2181

maxClientCnxns=60
admin.enableServer=false

initLimit=10
syncLimit=5

#server后面的序号要写到dataDir的myid文件中
server.1=ip1:2881:3881
server.2=ip2:2882:3882
server.3=ip3:2883:3883

2、 到各自的dataDir里面创建根据myid文件（根据上述配置中server.num对应的ip写入对应的num）

#假设本机是server.1
echo "1" > /data/kafka-relate/zookeeper/myid

3、分别启动（可以先前台启动，看看启动会是否成功，再用后台启动）

注：这里前台启动第一个的时候会有连接不到后两个的警告，应该是正常的，因为后两个还没启。

nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

再搭建kafka集群

1、配置文件

注：broker.id每台机器不一样（分别设置成1、2、3），其它配置都一样即可。

#config/server.properties
broker.id=1
listeners=PLAINTEXT://ip:9092
log.dirs=/data/kafka-relate/kafka-logs

#上面设置的zk地址
zookeeper.connect=ip1:2181,ip2:2181,ip3:2181

#partitions数量
num.partitions=10

#自动创建主题，可选项，自己决定是否设置
auto.create.topics.enable=true

#factor相关参数，从别人多台集群抄来的：
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=2
default.replication.factor=2

2、分别在每台机器上启动（可以先前台启动，看看启动会是否成功，再用后台启动）

nohup bin/kafka-server-start.sh config/server.properties &

搭好要测试哦！！！

1、添加一个top

2、生产

3、消费

kafka manager搭建

Linux安装Kafka-Manager_linux安装kafka manager-CSDN博客

参考文献：

Apache Kafka

简易教程 | Kafka从搭建到使用 - 知乎

https://www.cnblogs.com/luotianshuai/p/5206662.html

Linux安装Kafka-Manager_linux安装kafka manager-CSDN博客

sublio
关注
专栏目录
四十二、centos安装kafka，集群模式（生产者消费者部署测试）
2301_82102393的博客
04-19 969
知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。注：master输入什么，slave节点就会输出什么，生产者与消费者的调度测试结束。(img-7zgwa3pi-1713475039271)]1、在mastr上创建topic-test。注：master这里为对应的节点名。注：三台机器，全部启动，查看节点。注：三张图三台机器，简洁明了。
Centos Linux环境下Kafka集群搭建
wandaodi_121的博客
08-02 199
Centos Linux环境下Kafka集群搭建
搭建高可用kafka集群
一头倔强的小毛驴
05-12 967
启动服务时失败，查看log文件（/app/kafka/logs/zookeeper.log）发现问题是：Cannot open channel to 3 at election address 主机名/ip：端口.创建myid文件：进入/app/kafka/zk_kfk_data目录，创建myid文件，将三台服务器上的myid文件分别写入1，2，3。myid是zookeeper集群用来发现彼此的标识，必须创建，且不能相同。zookeeper配置文件描述。kafka配置文件描述。
Linux搭建Kafka开发环境
04-24
NULL 博文链接：https://mazhilin.iteye.com/blog/2421565
【Linux】环境部署kafka集群
最新发布
m0_52985087的博客
09-19 1346
Apache Kafka 是一个开源的分布式事件流平台，最初由LinkedIn开发，并于2011年贡献给了Apache软件基金会。Kafka被设计为一个高吞吐量、可扩展且容错的消息系统，它能够处理大量的实时数据流。Kafka广泛应用于构建实时数据管道和流应用。Broker：Kafka集群中的单个服务器，负责存储消息和处理客户端请求。Topic：特定类型的消息流，是消息的分类或主题。Partition：每个topic可以分为多个partition，提高并行处理能力和吞吐量。Producer。
centos7 kafka2.3.1单点部署
草宝虫的博客
11-18 299
依赖环境 kafka依赖zookeeper，故先要进行zookeeper部署，详见centos7 zookeeper部署。 kafka下载 http://kafka.apache.org/downloads http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.12-2.3.1.tgz 部署 tar xvz...
Liunx-Kafka单机部署
JolyouLu的博客
07-09 397
Zookeeper-快速入门(服务安装、单机部署、集群部署 单机部署 修改配置文件 broker.idlistenerslog.dirszookeeper.connect
6.2 Kafka集群之Linux下单机部署
Steven的博客
08-21 337
1.ZooKeeper搭建 (1).安装 首先从官网下载zookeeper压缩包，然后解压并命名为zookeeper，最后移动到/usr/local目录下。 (2).在zookeeper目录下新建data、logs目录，分别用来存放数据和日志
使用Linux部署Kafka教程
JackMa的博客
08-26 4422
e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。-e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka 配置zookeeper管理kafka的路径172.16.0.13:2181/kafka。-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间。
linux contos6.8下部署kafka集群的方法
09-15
在Linux CentOS 6.8环境下部署Apache Kafka集群是一项关键任务，尤其对于大数据处理和实时流数据应用来说。Apache Kafka是一个分布式流处理平台，用于构建实时数据管道和流应用程序。以下是一份详细的步骤指南，帮助...
Centos下kafka集群环境部署记录-实操手册（kafka-mamager）
08-29
本文详细记录了Centos下kafka集群环境部署过程，完全可以做实操手册。在此分享，希望能帮助到有用到的朋友！
linux下kafka
01-09
linux下部署kafka所需压缩包 版本是kafka_2.11-2.0.1.tgz
Linux下kafka单机版搭建
qq_39594037的博客
04-15 1374
这里使用3.6.4版本前提：服务器已经安装了jdk，zookeeper运行需要jdk环境。
Linux部署Kafka及常见问题记录
jaylee的博客
01-20 2637
（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）kafka消息发送的时候 ,考虑到性能 可以采用打包方式发送， 也就是说 传统的消息是一条一条发送， 现在可以先把需要发送的消息缓存在客户端， 等到达一定数值时， 再一起打包发送， 而且还可以对发送的数据进行压缩处理，减少在数据传输时的开销。topic命令时的警告 创建topic的时候，如果名称中包含. 或者_，kafka会抛出警告。
Linux系统部署Kafka教学
ohligay的博客
07-13 1244
本篇从初学者的角度出发介绍了kafka如何在linux服务器上进行部署，从部署zookeeper到部署kafka都有详细的介绍。
linux部署kafka
suibo0912hf的专栏
05-12 461
1、关闭SELINUXvi /etc/selinux/config SELINUX=enforcing #注释掉 SELINUXTYPE=targeted #注释掉 SELINUX=disabled #增加:wq! #保存退出 setenforce 0 #使配置立即生效 2、配置防火墙，开启9092端口 vi /etc/sysconfig/iptables #编辑防火墙配置文件-A INPUT
Linux部署kafka（单节点与集群）
_Clear
09-15 1917
一、单节点无ZK部署（假设机器名为 node） 1、下载并解压 jdk、kafka，备份配置文件，配置并加载JAVA环境变量 wget -P ~ https://repo.huaweicloud.com/java/jdk/8u181-b13/jdk-8u181-linux-x64.tar.gz && \ wget -P ~ https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz &
Linux安装Kafka及其环境配置
相互学习 共同进步
06-16 3783
在Kafka集群（Cluster）中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。发布消息的应用为Producer、消费消息的应用为Consumer，多个Consumer可以促成Consumer Group共同消费一个Topic中的消息：由于kafka依赖zookeeper因此需要安装zookeeper，而kafka是基于scala语言编写，scala又是基于jdk的，因此需要安装jdk。
kafka单点环境部署（有步骤、代码、图示）
oTianShiZaiChangGe1的博客
04-03 392
说明两点： 第一点： 我的kafka的文件目录在D:\kafka\kafka_2.11-2.4.1\bin\windows，如下图所示： 第二点：本套操作一共要打开四个命令窗口，并输入 d cd D:\kafka\kafka_2.11-2.4.1 直接上步骤 1、启动zookeeper D:\kafka\kafka_2.11-2.4.1\bin\windows>zookeeper-ser...
Kafka集群部署教程：CentOS快速配置与启动
本文档详细介绍了如何在 CentOS 6.5 系统上部署一个 Kafka 集群，包括 ZooKeeper 的安装与配置。首先，作者提供了一个 Kafka 版本为 0.8.2.2 的压缩包（kafka_2.10-0.8.2.2.tgz），并指定了集群中的两个节点：192....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值