Kafka集群搭建之路

Kafka配置流程图
1. zookeeper的配置流程图
申请两台linux机器，目前是两个虚拟机（centos系统）
首先，建立三个目录，分别作为zookeeper的项目目录、存储数据目录和存储事务日志
mkdir zookeeper #项目目录
mkdir zkdata #存放快照日志
mkdir zkdatalog#存放事物日志

Server2 : 192.168.173.128
Server1 : 192.168.173.129

定时执行脚本

!/bin/bash

snapshot file dir

dataDir=/opt/zookeeper/zkdata/version-2

tran log dir

dataLogDir=/opt/zookeeper/zkdatalog/version-2

Leave 66 files

count=66
count=$[$count+1]
ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f
ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f

以上这个脚本定义了删除对应两个目录中的文件，保留最新的66个文件，可以将他写到crontab中，设置为每天凌晨2点执行一次就可以了。

zk log dir del the zookeeper log

logDir=

ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f

192.168.173.128：
Zk配置：id=2 jd-zhouguoxin
Kafka 配置： broker.id = 0

192.168.173.129：
Zk配置：id=1 zhouguoxin
Kafka 配置： broker.id = 1
Scp –r /opt/kafka-src root@192.168.173.129:/opt/