Kafka本地集群搭建

工作需要，本地搭建了kafka的集群做测试，并简单使用。

本地环境：
- VMware Workstation 14 Pro
- CentOS 7
- jdk-8u161-linux-x64.tar.gz
- zookeeper-3.4.10.tar.gz
- kafka_2.11-1.0.1.tgz

主机名	IP	软件
tyron0	192.168.1.100	jdk 8、zookeeper-3.4.10、kafka-1.1.0
tyron1	192.168.1.101	jdk 8、zookeeper-3.4.10、kafka-1.1.0
tyron2	192.168.1.102	jdk 8、zookeeper-3.4.10、kafka-1.1.0

环境搭建

可以参考我之前的文章：VMware14搭建CentOS+jdk8环境

zookeeper安装

参考教程：认识 ZooKeeper-极客学院
附上配置文件：

// 启动zookeeper
cd /opt/zookeeper/bin/
./zkServer.sh start

注意事项：三台虚拟机开启2888、3888端口

firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
systemctl restart firewalld.service

搭建过程中出现的问题：启动ZooKeeper出错及解决方法

kafka安装

kafka安装相对简单与zookeeper安装类似，主要是修改配置文件：

broker.id=0        //依次增长的：0、1、2、3、4，集群中唯一id
host.name=192.168.1.100 // 主机ip，分别是101和102
port=9092 //端口号
log.dirs=/opt/kafka/logs  // 日志地址
zookeeper.connect=192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181 //zookeeperServers列表，各节点以逗号分开

// 启动kafka
cd /opt/kafka/
bin/kafka-server-start.sh -daemon config/server.properties &

// 可能会有权限不足
chmod +x kafka-server-stop.sh

启动成功后，如本文第一张图所示。

参考文档：
kafka学习 非常详细的经典教程
Kafka教程(二)Kafka集群环境安装