Kafka集群搭建

阿龙的代码在报错

于 2024-04-26 17:12:44 发布

阅读量390

点赞数 6

分类专栏：大数据 hadoop 文章标签：大数据

本文链接：https://blog.csdn.net/yujinlong2002/article/details/138224685

版权

15 篇文章 0 订阅

订阅专栏

3 篇文章 0 订阅

订阅专栏

将master节点的/data目录下的Kafka安装包解压到/opt/software目录下

tar -zxvf kafka_2.12-2.4.1.tgz -C /opt/software/
mv kafka_2.12-2.4.1 kafka

进入Kafka安装目录的config目录修改server.properties配置文件，将“broker.id”改为“0”，“log.dirs”改为“/opt/logs/kafka-logs”，“zookeeper.connect”改为“master:2181,slave1:2181,slave2:2181”
```
cd /opt/software/kafka/config
```
参数名参数值
broker.id 0
log.dirs /opt/logs/kafka-logs
zookeeper.connect master:2181,slave1:2181,slave2:2181

参数名参数值
broker.id 1
log.dirs /opt/logs/kafka-logs
zookeeper.connect master:2181,slave1:2181,slave2:2181

参数名参数值
broker.id 2
log.dirs /opt/logs/kafka-logs
zookeeper.connect master:2181,slave1:2181,slave2:2181
将master节点配置好的Kafka文件远程发送至slave1、slave2节点相同目录下，并将slave1、slave2节点的server.properties配置文件中的broker.id分别修改为1、2。
```
scp -r kafka slave1:$pwd
scp -r kafka slave2:$pwd
```
在master节点的/etc/profile文件中配置Kafka环境变量KAFKA_HOME和PATH的值，并使配置文件立即生效。再将master节点配置好的/etc/profile文件远程发送至slave1、slave2节点，同样使配置文件立即生效
```
vi /etc/profile

export KAFKA_HOME=/root/software/kafka
export PATH=$PATH:$KAFKA/bin

scoure /etc/profile

scp /etc/profile slave1:/etc/
scp /etc/profile slave2:/etc/
```
分别在各节点启动ZooKeeper集群，确保ZooKeeper集群启动后再在各节点启动Kafka集群，并查看各节点进程

关注