先搭建 zookeeper集群
- Zookeeper 是hadoop的分布式协调服务,分布式应用程序可以基于它实现同步服务(数据的事务性一致),配置服务和命名服务
- Zookeeper集群搭建的前提:ZK服务器集群规模不小于3个节点,要求各服务器之间系统时间保持一致(若是单个节点,则是伪分布)
Zookeeper 集群1
本台服务器ID:192.168.199.110
创建zookeeper存储数据的目录 /home/cttic_server1/Documents/zk/data/
修改配置文件
cd /opt/install/apache-zookeeper-3.5.7-bin
cd conf
vim
修改内容
dataDir=/home/cttic_server1/Documents/zk/data/
server.110=192.168.199.110:2888:3888
server.218=192.168.199.218:2888:3888
server.242=192.168.199.242:2888:3888
2888端口负责在zk集群中进行数据的传输
3888端口负责在zk集群中进行选举
在 /home/cttic_server1/Documents/zk/data/
目录下,创建myid, 并在myid文件中绑定节点对应的服务器编号
cd /home/cttic_server1/Documents/zk/data/
vim myid
Zookeeper 集群2
本台服务器ID:192.168.199.218
创建zookeeper存储数据的目录 /home/cttic_server2/Documents/zk/data/
修改配置文件
cd /opt/install/apache-zookeeper-3.5.7-bin
cd conf
vim
修改内容
dataDir=/home/cttic_server2/Documents/zk/data/
server.110=192.168.199.110:2888:3888
server.218=192.168.199.218:2888:3888
server.242=192.168.199.242:2888:3888
2888端口负责在zk集群中进行数据的传输
3888端口负责在zk集群中进行选举
在 /home/cttic_server2/Documents/zk/data/
目录下,创建myid, 并在myid文件中绑定节点对应的服务器编号
cd /home/cttic_server2/Documents/zk/data/
vim myid
Zookeeper 集群3
本台服务器ID:192.168.199.242
创建zookeeper存储数据的目录 /home/cttic_server3/Documents/zk/data/
修改配置文件
cd /opt/install/apache-zookeeper-3.5.7-bin
cd conf
vim
修改内容
dataDir=/home/cttic_server3/Documents/zk/data/
server.110=192.168.199.110:2888:3888
server.218=192.168.199.218:2888:3888
server.242=192.168.199.242:2888:3888
2888端口负责在zk集群中进行数据的传输
3888端口负责在zk集群中进行选举
在 /home/cttic_server3/Documents/zk/data/
目录下,创建myid, 并在myid文件中绑定节点对应的服务器编号
cd /home/cttic_server3/Documents/zk/data/
vim myid
启动
在三个节点上启动
zkServer.sh start
检查
启动三个节点后,关闭防火墙后检查
zkServer.sh status
补充关闭防火墙
systemctl enable firewalld.service # (1) 设置开机启用防火墙:
systemctl disable firewalld.service #(2)设置开机禁用防火墙:
systemctl start firewalld #(3)启动防火墙:
systemctl stop firewalld # (4)关闭防火墙:
systemctl status firewalld # (5)检查防火墙状态:
搭建Kafka集群
修改每台服务器的配置文件
Kafka 集群1
本台服务器ID:192.168.199.110
cd /opt/install/kafka_2.11-2.4.0
cd config
vim server.properties
创建kafka存放日志的文件目录
mkdir -p /home/cttic_server1/Documents/kafka_logs/kafka-logs
# 给每台broker服务器添加标记,一般与主机名保持一致
broker.id=110
# 删除topic之后是否立即生效:
#Swith to enable topic deletion or not, default value is false
delete.topic.enable=true
# 监听器,端口号和port一致即可:
listeners=PLAINTEXT://192.168.199.110:9092
# kafka存放log文件的目录
log.dirs=/home/cttic_server1/Documents/kafka_logs/kafka-logs
num.partitions = 1
num.network.threads=3
# zookeeper 地址:
zookeeper.connect=192.168.199.110:2181,192.168.199.218:2181,192.168.199.242:2181
Kafka 集群2
本台服务器ID:192.168.199.218
cd /opt/install/kafka_2.11-2.4.0
cd config
vim server.properties
创建kafka存放日志的文件目录
mkdir -p /home/cttic_server2/Documents/kafka_logs/kafka-logs
# 给每台broker服务器添加标记,一般与主机名保持一致
broker.id=218
# 删除topic之后是否立即生效:
#Swith to enable topic deletion or not, default value is false
delete.topic.enable=true
# 监听器,端口号和port一致即可:
listeners=PLAINTEXT://192.168.199.218:9092
# kafka存放log文件的目录
log.dirs=/home/cttic_server2/Documents/kafka_logs/kafka-logs
num.partitions = 1
num.network.threads=3
# zookeeper 地址:
zookeeper.connect=192.168.199.110:2181,192.168.199.218:2181,192.168.199.242:2181
Kafka 集群3
本台服务器ID:192.168.199.242
cd /opt/install/kafka_2.11-2.4.0
cd config
vim server.properties
创建kafka存放日志的文件目录
mkdir -p /home/cttic_server3/Documents/kafka_logs/kafka-logs
# 给每台broker服务器添加标记,一般与主机名保持一致
broker.id=218
# 删除topic之后是否立即生效:
#Swith to enable topic deletion or not, default value is false
delete.topic.enable=true
# 监听器,端口号和port一致即可:
listeners=PLAINTEXT://192.168.199.242:9092
# kafka存放log文件的目录
log.dirs=/home/cttic_server3/Documents/kafka_logs/kafka-logs
num.partitions = 1
num.network.threads=3
# zookeeper 地址:
zookeeper.connect=192.168.199.110:2181,192.168.199.218:2181,192.168.199.242:2181
启动与停止
启动
# 前台启动
kafka-server-start.sh /opt/install/kafka_2.11-2.4.0/config/server.properties
# 后台启动
kafka-server-start.sh -daemon /opt/install/kafka_2.11-2.4.0/config/server.properties
停止
kafka-server-stop.sh