linux下kafka集群安装部署

一、jdk环境

jdk环境安装

二、zookeeper安装

1.zookeeper官网下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
如果本链接下载慢可使用其他几个链接

2.zookeeper解压

(1) tar.gz解压

tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz

(2) 设置软连接或修改别名

ln -s apache-zookeeper-3.6.3-bin zookeeper
mv apache-zookeeper-3.6.3-bin zookeeper

3.zookeeper配置

(1) 备份zoo.cfg文件

# 进入zookeeper目录
cd /opt/zookeeper/conf/

# 复制zoo.cfg文件
cp zoo_sample.cfg zoo.cfg

(2) 配置zoo.cfg文件

首先要放出2181、8080端口

----------------zoo.cfg配置---------------------
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/data
dataLogDir=/var/log/zookeeper
clientPort=2181
# 如果8080被占用，则可设置其他端口
admin.serverPort=8081
# 集群云服务器外网需要设置此项
quorumListenOnAllIPs=true
# 集群配置 0、1、2 每台服务器myid所对应的节点号
server.0=8.127.x.x:2888:3888
server.1=8.128.x.x:2888:3888
server.2=8.129.x.x:2888:3888

(3) 创建myid

# 进入目录
cd /opt/zookeeper/data/

# 生成节点号myid文件
echo 0 > myid

4.zookeeper启动

# 移动目录
cd /opt/zookeeper/bin/

# 启动
./zkServer.sh start

# 单机启动成功显示信息
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
-------------------------------------------------
# 集群启动成功显示信息
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
Mode: leader
-------------------------------------------------
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
Mode: follower

# 查看状态
./zkServer.sh staus

---

其他两台服务器zookeeper可按以上配置，其中修改各自 myid 对应的节点号1、2，启动

---

二、kafka安装

1.kafka官网下载

wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz
如果本链接下载慢可使用其他几个链接

2.kafka解压

(1) tgz解压

tar -zxvf kafka_2.13-2.8.0.tgz

(2) 设置软连接或修改别名

ln -s kafka_2.13-2.8.0 kafka
mv kafka_2.13-2.8.0 kafka

3.kafka配置

(1) 备份server.properties文件

# 进入目录
cd /opt/kafka/config/

# 备份配置文件
cp server.properties server.properties.bak

# 编辑配置文件
vim server.properties

(2) 配置server.properties文件

# 标识，每台机器id唯一
broker.id=0

# 内网
listeners=PLAINTEXT://your.host.name:9092

# 内外网
advertised.listeners=PLAINTEXT://your.host.name:9092

# zookeeper配置（单机可默认）, 集群配置
zookeeper.connect=8.127.x.x:2181,8.128.x.x:2181,8.129.x.x:2181

---

(3) kafka指定端口

如需指定kafka端口，则需修改配置文件端口

---

4.kafka启动

前提是要启动zookeeper

# 进入目录
cd /opt/kafka/bin/

# 启动kafka
./kafka-server-start.sh -daemon ../config/server.properties或
./kafka-server-start.sh ../config/server.properties &

---

其他两台服务器kafka可按以上配置，修改 配置文件server.properties 中 broker.id

---

5.kafka消息验证

(1) 创建主题topic

# 进入kafka安装目录bin
cd /opt/kafka/bin/

# 创建topic
./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 1 --replication-factor 1

(2) 发送消息

# 查看topic列表
./kafka-topics.sh --zookeeper localhost:2181 --list

# 往topic发送消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic test

(3) 消费消息

# 消费topic test
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning