kafka

最新推荐文章于 2022-11-16 15:20:51 发布

qq_45866401

最新推荐文章于 2022-11-16 15:20:51 发布

阅读量972

点赞数

文章标签： kafka 分布式 linux

本文链接：https://blog.csdn.net/qq_45866401/article/details/122174429

版权

本文档详细介绍了如何在基于Hadoop HA和Zookeeper的环境中部署Kafka。首先解压缩Kafka安装包并配置环境变量，然后通过scp命令将Kafka分布到各个节点，并在每个节点上修改server.properties文件中的broker.id。最后，确保Zookeeper和Hadoop已启动，分别在各节点启动Kafka服务。检查进程确认Kafka集群已成功部署。

摘要由CSDN通过智能技术生成

kafka部署

基于Hadoop ha 和zookeeper

解压缩kafka安装包

[root@master ~]# tar -zxvf /h3cu/kafka1.0.0.tgz -C /usr/local/src

[root@master ~]# mv /usr/local/src/kafka_2.11-1.0.0/ /usr/local/src/kafka

配置环境变量

[root@master ~]# vi /root/.bash_profile

export KAFKA_HOME=/usr/local/src/kafka
export PATH=$KAFKA_HOME/bin:$PATH

[root@master ~]# source /root/.bash_profile

[root@master src]# vi /usr/local/src/kafka/config/server.properties

在server.properties文件下找到下列配置项，并修改为：

broker.id=0
log.dirs=/usr/local/src/kafka/kafka_data
zookeeper.connect=master,slave1,slave2

使用scp命令把kafka发送到各个节点

[root@master src]# scp -r /usr/local/src/kafka/ root@slave1:/usr/local/src/kafka/

[root@master src]# scp -r /usr/local/src/kafka/ root@slave2:/usr/local/src/kafka/

修改各个节点中的server.properties

打开文件/usr/local/src/kafka/config/server.properties

[root@slave1 src]# vi /usr/local/src/kafka/config/server.properties

在server.properties文件下找到broker.id分别修改为

broker.id=1

[root@slave2 src]# vi /usr/local/src/kafka/config/server.properties

在server.properties文件下找到broker.id分别修改为

broker.id=2

启动kafka之前检查zookeeper、hadoop已经启动

[root@master bin]# /usr/local/src/kafka/bin/kafka-server-start.sh -daemon ../config/server.properties

[root@slave1 bin]# /usr/local/src/kafka/bin/kafka-server-start.sh -daemon ../config/server.properties

[root@slave2 bin]# /usr/local/src/kafka/bin/kafka-server-start.sh -daemon ../config/server.properties