Kafka-3、集群搭建

**一、服务器信息 **

虚拟机3台，IP分别为：10.255.3.12、10.255.3.27、10.255.3.64
1、硬件环境
内存：8G
CPU：4核

2、 软件环境
操作系统：CentOS7
Java环境：JDK8

**二、服务器配置 **

1、修改Hosts
在三台服务下分别修改hosts

vi /etc/hosts

添加如下映射信息，保证IP为网卡绑定的IP地址

10.255.3.12 zk1 kafka1
10.255.3.27 zk2 kafka2
10.255.3.64 zk3 kafka3

2、查看java版本
保证三台机器都安装好JDK，最好使用相同版本，查看Java版本

java -version

3、创建相关目录
1)、三台机器分别创建Zookeeper Data目录

mkdir -p /home/user/zk

2)、写入myid文件
zk1服务器写入：

echo "1" > /home/user/zk/myid

zk2服务器写入：

echo "2" > /home/user/zk/myid

zk3服务器写入：

echo "3" > /home/user/zk/myid

3)、三台机器分别创建Kafka log目录

mkdir -p /tmp/kafka-logs

**三、安装 **

1、Zookeeper安装
以下步骤三台服务器都需要执行
1)、将Zookeeper安装包上传到服务器，并解压。

tar -zxvf zookeeper-3.4.14.tar.gz

2)、重命名默认配置文件，并修改

mv zookeeper-3.4.14/conf/zoo_sample.cfg zookeeper-3.4.14/conf/zoo.cfg 
vi zookeeper-3.4.14/conf/zoo.cfg

修改如下：

dataDir=/home/user/zk
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888

dataDir为上面创建好的data目录；
server.X=host:port1:port2：X为一个全局唯一整数，与上面创建的myid内容相对应，一般设置为1~255之间的整数；port1端口用于follower节点连接leader节点；port2端口用户leader选举。

3)、启动Zookeeper服务

cd /opt/zookeeper-3.4.14/
bin/zkServer.sh start conf/zoo.cfg

启动日志在当前目录下zookeeper.out

4)、查看Zookeeper状态

bin/zkServer.sh status

Mode为follower或leader状态，启动成功。

2、Kafka安装
以下步骤三台服务器都需要执行
1)、将Kafka安装包上传到服务器，并解压。

tar -zxf kafka_2.12-2.3.0.tgz

2)、删除压缩包，进入Kafka目录

rm -rf kafka_2.12-2.3.0.tgz
cd kafka_2.12-2.3.0/

3)、修改配置文件

vi config/server.properties

kafka1修改如下：

broker.id=0
listeners=PLAINTEXT://kafka1:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

kafka2修改如下：

broker.id=1
listeners=PLAINTEXT://kafka2:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

kafka3修改如下：

broker.id=2
listeners=PLAINTEXT://kafka3:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

4)、启动

bin/kafka-server-start.sh -daemon config/server.properties

5)、验证
查看启动日志logs/server.log中有started输出，启动成功。
使用jps命令能看到kafka的java进程。