Kafka 集群部署

目录

1、环境准备

2、搭建ZooKeeper集群

配置文件

节点标记

环境变量

启动集群

数据同步测试

故障测试

3、搭建 Kafka 集群

配置文件

环境变量

配置其他机器

启动服务

4、集群测试

创建 Topic

显示 Topic 配置

创建 Producer

创建consumer

删除Topic

查看Zookeeper元数据

---

一个Broker就是一个kafka服务，三种安装Kafka的方式，分别为：单节点单Broker部署、单节点多Broker部署、集群部署（多节点多Broker）。实际生产环境中使用的是第三种方式，以集群的方式来部署Kafka。

1、环境准备

主机名	IP	应用
CentOS_JClouds	192.168.137.253	Kafka + ZooKeeper
CentOS_Book	192.168.137.252	Kafka + ZooKeeper
CentOS_Client01	192.168.137.6	Kafka + ZooKeeper

由于zookeeper依赖java环境，所以我们需要安装jdk，官网建议最低安装jdk 1.8版本

# 安装JDK
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/
# 配置环境变量
vim /etc/profile
JAVA_HOME=/usr/local/jdk1.8.0_171
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar 
export PATH JAVA_HOME CLASSPATH
source /etc/profile

2、搭建ZooKeeper集群

配置文件

# 解压安装装包
tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local/

# 创建内存数据库快照存放目录
mkdir -p /data/zk/data
mkdir -p /data/zk/datalog


# 修改配置文件
cd /usr/local/apache-zookeeper-3.7.1-bin/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg 
#----------------------------------zoo.cfg-------------------------------
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zk/data        #修改这一行为我们创建的目录
dataLogDir=/data/zk/datalog   #添加这一行
clientPort=2181
# 三个节点配置，格式为：
# server.服务编号=服务地址、LF通信端口、选举端口
server.1=cong11:2888:3888
server.2=cong12:2888:3888
server.3=cong13:2888:3888
#----------------------------------zoo.cfg-------------------------------

注：server.A=B：C：D：其中 A