Kafka集群搭建

先搭建 zookeeper集群

1. Zookeeper 是hadoop的分布式协调服务，分布式应用程序可以基于它实现同步服务(数据的事务性一致)，配置服务和命名服务
2. Zookeeper集群搭建的前提：ZK服务器集群规模不小于3个节点，要求各服务器之间系统时间保持一致(若是单个节点，则是伪分布)

Zookeeper 集群1

本台服务器ID：192.168.199.110
创建zookeeper存储数据的目录 /home/cttic_server1/Documents/zk/data/

修改配置文件

cd /opt/install/apache-zookeeper-3.5.7-bin
cd conf
vim 

修改内容

dataDir=/home/cttic_server1/Documents/zk/data/

server.110=192.168.199.110:2888:3888
server.218=192.168.199.218:2888:3888
server.242=192.168.199.242:2888:3888

2888端口负责在zk集群中进行数据的传输
3888端口负责在zk集群中进行选举

在 /home/cttic_server1/Documents/zk/data/ 目录下，创建myid, 并在myid文件中绑定节点对应的服务器编号

cd /home/cttic_server1/Documents/zk/data/
vim myid

Zookeeper 集群2

本台服务器ID：192.168.199.218
创建zookeeper存储数据的目录 /home/cttic_server2/Documents/zk/data/

修改配置文件

cd /opt/install/apache-zookeeper-3.5.7-bin
cd conf
vim 

修改内容

dataDir=/home/cttic_server2/Documents/zk/data/

server.110=192.168.199.110:2888:3888
server.218=192.168.199.218:2888:3888
server.242=192.168.199.242:2888:3888

2888端口负责在zk集群中进行数据的传输
3888端口负责在zk集群中进行选举

在 /home/cttic_server2/Documents/zk/data/ 目录下，创建myid, 并在myid文件中绑定节点对应的服务器编号

cd /home/cttic_server2/Documents/zk/data/
vim myid

Zookeeper 集群3

本台服务器ID：192.168.199.242
创建zookeeper存储数据的目录 /home/cttic_server3/Documents/zk/data/

修改配置文件

cd /opt/install/apache-zookeeper-3.5.7-bin
cd conf
vim 

修改内容

dataDir=/home/cttic_server3/Documents/zk/data/

server.110=192.168.199.110:2888:3888
server.218=192.168.199.218:2888:3888
server.242=192.168.199.242:2888:3888

2888端口负责在zk集群中进行数据的传输
3888端口负责在zk集群中进行选举

在 /home/cttic_server3/Documents/zk/data/ 目录下，创建myid, 并在myid文件中绑定节点对应的服务器编号

cd /home/cttic_server3/Documents/zk/data/
vim myid

启动

在三个节点上启动

zkServer.sh start

检查

启动三个节点后，关闭防火墙后检查

zkServer.sh status

补充关闭防火墙

systemctl enable firewalld.service  # (1) 设置开机启用防火墙：

systemctl disable firewalld.service #（2）设置开机禁用防火墙：

systemctl start firewalld #（3）启动防火墙：

systemctl stop firewalld # （4）关闭防火墙：

systemctl status firewalld  # （5）检查防火墙状态：

搭建Kafka集群

修改每台服务器的配置文件

Kafka 集群1

本台服务器ID：192.168.199.110

cd /opt/install/kafka_2.11-2.4.0
cd config
vim server.properties

创建kafka存放日志的文件目录

mkdir -p /home/cttic_server1/Documents/kafka_logs/kafka-logs

# 给每台broker服务器添加标记，一般与主机名保持一致
broker.id=110

# 删除topic之后是否立即生效：
#Swith to enable topic deletion or not, default value is false
delete.topic.enable=true

# 监听器，端口号和port一致即可：
listeners=PLAINTEXT://192.168.199.110:9092

# kafka存放log文件的目录
log.dirs=/home/cttic_server1/Documents/kafka_logs/kafka-logs

num.partitions = 1

num.network.threads=3

# zookeeper 地址：
zookeeper.connect=192.168.199.110:2181,192.168.199.218:2181,192.168.199.242:2181

Kafka 集群2

本台服务器ID：192.168.199.218

cd /opt/install/kafka_2.11-2.4.0
cd config
vim server.properties

创建kafka存放日志的文件目录

mkdir -p /home/cttic_server2/Documents/kafka_logs/kafka-logs

# 给每台broker服务器添加标记，一般与主机名保持一致
broker.id=218

# 删除topic之后是否立即生效：
#Swith to enable topic deletion or not, default value is false
delete.topic.enable=true

# 监听器，端口号和port一致即可：
listeners=PLAINTEXT://192.168.199.218:9092

# kafka存放log文件的目录
log.dirs=/home/cttic_server2/Documents/kafka_logs/kafka-logs

num.partitions = 1

num.network.threads=3

# zookeeper 地址：
zookeeper.connect=192.168.199.110:2181,192.168.199.218:2181,192.168.199.242:2181

Kafka 集群3

本台服务器ID：192.168.199.242

cd /opt/install/kafka_2.11-2.4.0
cd config
vim server.properties

创建kafka存放日志的文件目录

mkdir -p /home/cttic_server3/Documents/kafka_logs/kafka-logs

# 给每台broker服务器添加标记，一般与主机名保持一致
broker.id=218

# 删除topic之后是否立即生效：
#Swith to enable topic deletion or not, default value is false
delete.topic.enable=true

# 监听器，端口号和port一致即可：
listeners=PLAINTEXT://192.168.199.242:9092

# kafka存放log文件的目录
log.dirs=/home/cttic_server3/Documents/kafka_logs/kafka-logs

num.partitions = 1

num.network.threads=3

# zookeeper 地址：
zookeeper.connect=192.168.199.110:2181,192.168.199.218:2181,192.168.199.242:2181

启动与停止

启动

# 前台启动
kafka-server-start.sh /opt/install/kafka_2.11-2.4.0/config/server.properties
# 后台启动
kafka-server-start.sh -daemon /opt/install/kafka_2.11-2.4.0/config/server.properties

停止

kafka-server-stop.sh