kafka分布式集群搭建与部署
本次采用的系统为centos7
kafka版本为kafka_2.11-2.0.0
链接:https://pan.baidu.com/s/1I7PA0kw1yLyrE9Qt1yF2oA
提取码:qwer
本文中使用的自带的zookeeper
1、解压文件
在opt文件夹下解压
[root@localhost opt]# tar zxvf kafka_2.11-2.0.0.tgz
2、创建tmp路径
[root@localhost kafka_2.11-2.0.0]# mkdir logs
3、修改server.properties文件
#进入 config文件夹
[root@localhost kafka_2.11-2.0.0]# cd config/
#修改
vi server.properties
#broker的全局唯一编号,不能重复(修改处) 此处3台节点都要修改
broker.id=0
#kafka运行日志存放的路径(修改处)
log.dirs=/opt/kafka_2.11-2.0.0/logs
#配置连接Zookeeper集群地址(修改处)
zookeeper.connect= master:2181,slave1:2181,slave2:2181
4、修改producer.properties 文件
[root@localhost config]# vi producer.properties
bootstrap.servers=master:9092,slave1:9092,slave2:9092
5、发送到其他节点并修改server.properties
#发送到其他节点
scp /opt/kafka_2.11-2.0.0 slave1:/opt/
scp /opt/kafka_2.11-2.0.0 slave2:/opt/
#修改server.properties
#broker的全局唯一编号,不能重复(修改处) 此处3台节点都要修改
broker.id=0
6、配置环境变量
#KAFKA
export KAFKA_HOME=/opt/kafka_2.11-2.0.0
export PATH=$PATH:$KAFKA_HOME/bin
#发送到其他节点
scp /etc/profile slave1:/etc/
scp /etc/profile slave2:/etc/
#刷新 每台节点都需要
source /etc/profile
7、启动
-
启动zk
[root@localhost kafka_2.11-2.0.0]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
-
启动kafka server
[root@localhost kafka_2.11-2.0.0]# bin/kafka-server-start.sh -daemon config/server.properties
jps 查看进程