【Linux】Kafka和Zookeeper集群搭建

下载

kafka与 zookeeper官网下载
下载编译好的二进制即可，2.12或2.13均可；
以kafka_2.12-2.6.0.tgz为例

Kafka和Zookeeper集群搭建

1.解压

gtar kafka_2.12-2.6.0.tgz

或者两个命令：

gzip -d kafka_2.12-2.6.0.tgz
tar xvf kafka_2.12-2.6.0.tar

个人习惯，根据情况，我这里改了下文件夹名称

mv kafka_2.12-2.6.0 kafka

环境：
192.168.1.11
192.168.1.12
192.168.1.13

2.配置jdk

参考:【Java】linux下jdk的配置

3.搭建Zookeeper集群

更改kafka/config目录下zookeeper.properties文件

dataDir=/app/tmn/kafka/data/zookeeper
dataLogDir=/app/tmn/kafka/logs
# the port at which the clients will connect
clientPort=2181

以下为添加部分

#autopurge.purgeInterval=1
#admin.serverPort=11800
server.1=192.168.1.11:2888:3888
server.2=192.168.1.12:2888:3888
server.3=192.168.1.13:2888:3888

开放3888端口

/sbin/iptables -I INPUT -p tcp --dport 3888 -j ACCEPT

4.配置myid文件

数据目录下创建myid文件，存储本机的节点名
/app/tmn/kafka/data/zookeeper
这里1节点用0,2节点用1,3节点用2

5.启动zookeeper

启动三台节点zookeeper

nohup /app/tmn/kafka/bin/zookeeper-server-start.sh /app/tmn/kafka/config/zookeeper-dev.properties >/app/tmn/kafka/logs/zookeeper/zookeeper.log 2>&1 & tail -f /app/tmn/kafka/logs/zookeeper/zookeeper.log

6.配置kafka集群

更改kafka/config目录下server-dev.properties文件，主要部分如下：
（内容不全，只列举了关键行）
节点1：

# 在集群中，broker不可以重复，不可以配置负数
broker.id=1
listeners=PLAINTEXT://192.168.1.11:9092
# 数据存储位置，请确保磁盘空间充足
log.dirs=/app/tmn/kafka/logs/kafka

# 允许逗号分隔，生产环境应配置多个zk
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181

节点2

# 在集群中，broker不可以重复，不可以配置负数
broker.id=2
listeners=PLAINTEXT://192.168.1.12:9092
# 数据存储位置，请确保磁盘空间充足
log.dirs=/app/tmn/kafka/logs/kafka

# 允许逗号分隔，生产环境应配置多个zk
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181

节点3

# 在集群中，broker不可以重复，不可以配置负数
broker.id=3
listeners=PLAINTEXT://192.168.1.13:9092
# 数据存储位置，请确保磁盘空间充足
log.dirs=/app/tmn/kafka/logs/kafka

# 允许逗号分隔，生产环境应配置多个zk
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181

7.创建节点文件

/app/tmn/kafka/logs/kafka下创建meta.properties
内容如下，broker.id三节点分别为1,2,3
version=0
broker.id=1

8.启动kafka

依次启动三个节点的kafka即可

nohup /app/tmn/kafka/bin/kafka-server-start.sh  /app/tmn/kafka/config/server-dev.properties >/app/tmn/kafka/logs/kafka/kafka.log 2>&1 &  tail -f /app/tmn/kafka/logs/kafka/kafka.log

9.创建topic

此环境把zookeeper的服务放到了/etc/hosts中
192.168.1.11 zk1.nrmsserver
192.168.1.12 zk2.nrmsserver
192.168.1.13 zk3.nrmsserver
节点1执行创建topic命令

./kafka-topics.sh --create --zookeeper zk1.nrmsserver:2181,zk2.nrmsserver:2181,zk3.nrmsserver:2181 --replication-factor 3 --partitions 1 --topic kafka-topics-cluster

查看已存在的topic
依次在1,2，3节点查看，发现集群已存在

./kafka-topics.sh --list --zookeeper zk1.nrmsserver:2181,zk2.nrmsserver:2181,zk3.nrmsserver:2181

遇到的报错

1.‘kafka’ is not in the form of topic-partition or topic-partition

这个就是日志目录设置错误

ERROR [KafkaServer id=2] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
org.apache.kafka.common.KafkaException: Found directory /irmsdate/soft/thirdparty/kafka/logs/kafka, 'kafka' is not in the form of topic-partition or topic-partition.uniqueId-delete (if marked for deletion).
Kafka's log directories (and children) should only contain Kafka topic data.
        at kafka.log.Log$.exception$1(Log.scala:2265)
        at kafka.log.Log$.parseTopicPartitionName(Log.scala:2272)

2.Snapshot directory has log files. Check if dataLogDir and dataDir configuration is correct.

解决方案：
删除每一个data和log文件夹下的version文件夹，重新运行即可
报错原因：
第一次运行三个服务器时没有配置dataLogDir，之后再配置运行后可能与之前默认的log目录产生了冲突