Kafka\Zookeeper3节点集群部署

前言：本文仅包含zk\kafka的3节点环境部署，下一篇介绍kafka eagle监控kafka\zk集群

3节点角色规划

jdk、zk、kafka 安装包下载
https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html#license-lightbox
http://archive.apache.org/dist/zookeeper/
http://archive.apache.org/dist/kafka/

一、准备jdk8环境

1.1 解包
tar xvf jdk-8u141-linux-x64.tar.gz -C /usr/local/
mv /usr/local/jdk1.8.0_141 /usr/local/jdk 

1.2 增加环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

1.3 刷新&验证
source /etc/profile
java -version

二、部署zookeeper集群

注意，kafka启动依赖zk，所以先部署zk

2.1 zk安装包解压至任意目录
cd zookeeper-3.4.10/ 
cp conf/zoo_sample.cfg  conf/zoo.cfg 

2.2 更改配置 （仅改以下三个部分即可）
vi conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=./datadir  #数据存储目录
clientPort=7181    #客户端端口
server.1=172.xx.xx.27:2888:3888  #集群内部通信
server.2=172.xx.xx.186:2888:3888
server.3=172.xx.xx.140:2888:3888

#配置解释 
#server.2=172.xx.xx.186:2888:3888，用来配置ZK集群中的各节点，id的值与myid保持一致。
#2888，Leader和Follower或Observer交换数据使用
#3888，用于Leader选举

2.3 创建myid
mkdir ./datadir  
#每个节点中myid具体的数字根据zoo.cfg中server 1 2 3来指定，如果不对应则无法启动
echo 1 > datadir/myid  #节点A执行   
echo 2 > datadir/myid  #节点B执行
echo 3 > datadir/myid  #节点C执行

2.4 启动zookeeper服务
cd /opt/zookeeper/zookeeper-3.4.10
bin/zkServer.sh start

2.5 验证启动正常
启动和连接zk示例：
./bin/zkServer.sh start   #启动zk
./bin/zkServer.sh status  #查看状态
./bin/zkCli.sh -server 172.xx.xx.27:7181,172.xx.xx.186:7181,172.xx.xx.140:7181
ls /

2.6 设置zk开机自启动 (注意这里需要指定实际的zk启动脚本路径)
vi /etc/rc.d/rc.local
export JAVA_HOME={$JAVA_HOME} su - {$user} -c '${deploy_path}/zookeeper-3.4.10/bin/zkServer.sh start'

2.7 zk优化
暂未研究，后边有了补上^.^

三、部署kafka集群

3.1 解包  （以下操作在A、B、C三台都执行）
tar xvf kafka_2.11-0.11.0.2.tgz -C /var/lib/docker/
mkdir -p /var/lib/docker/kafka_2.11-0.11.0.2/logs

3.2 配置
cp config/server.properties{,_bak}
vi config/server.properties   

broker.id=1  ##A\B\C三台各自对应1\2\3每台不一样
port=9092
host.name=172.xx.xx.27   ##A\B\C 三台节点不一样，取实际情况
delete.topic.enable=true
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/var/lib/docker/kafka_2.11-0.11.0.2/logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.retention.bytes=10737418240
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.xx.xx.27:7181,172.xx.xx.186:7181,172.xx.xx.140:7181   ##zookeeper集群
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

3.3 开启JMX port，后边如果有监控kafka/zk集群的想法可以先开起来（可选）

vi bin/kafka-server-start.sh   #注意9999端口应未被占用，被占用就自定义更换
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export JMX_PORT="9999"   #增加此行
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

3.4 kafka参数优化（可选，参数主要根据自身服务器参数配置，以下配置参考48c 256g的生产服务器）

一、JVM优化
vi bin/kafka-server-start.sh
KAFKA_HEAP_OPTS="-Xmx50G -Xms50G"
 
二、vi config/server.properties
2）网络io，配置线程数量为cpu核数+1
num.network.threads=49
 
3）磁盘io，配置线程数量为cpu核数2倍，最大不超过3倍
num.io.threads=80
 
4）socket server可接受数据大小 (防止OOM异常)
socket.request.max.bytes=2147483600   //约2G
 
5）拉取线程数，配置多可以提高follower的I/O并发度，单位时间内leader持有更多请求，相应负载会增大
num.replica.fetchers=3
 
6）最小字节数，replica.fetch.min.bytes=1
7）最大字节数，replica.fetch.max.bytes=5242880

---

四、其他

zk、kafka 的默认配置参数在线上压力大的情况下会出现阻塞的情况，如果进行配置优化就需要滚动重启才能生效，并且修改的优化参数应该先在测试环境中测试，没有问题了再上生产 找业务低峰期操作。

案例如下：1 Leader，2 Follower的3集群节点，如果有多节点也应该先操作follower节点后操作leader，滚动重启的大致步骤:

步骤一

Follower-节点1
1.1 停止kafka进程
1.2 停止zk进程
#完成关闭 开始启动
1.3 启动zk进程
1.4 启动kafka进程

步骤二

Follower-节点2
2.1 停止kafka进程
2.2 停止zk进程
#完成关闭 开始启动
2.3 启动zk进程
2.4 启动kafka进程

步骤三

Leader-节点1
3.1 停止kafka进程
3.2 停止zk进程
#完成关闭 开始启动
3.3 启动zk进程
3.4 启动kafka进程

操作完毕后，leader会飘移 所有进程都是启动的

kafka的配置优化参考具体的那哪几篇文章记不清了，如果侵权请联系我删除

~有任何不对的地方和建议 欢迎各位大佬指出~