kafka高可用集群搭建流程

kafka高可用集群搭建流程

机器配置

机器ip地址：10.16.18.213；10.16.18.214

Kafka版本信息

kafka版本：kafka_2.11-1.0.0
zookeeper版本： 使用kafka自带的zookeeper
下载地址：http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz

Broker

以四个broker为例，每台机器运行两个broker，通过设置端口区分
目前没有使用zookeeper高可靠，有待深入研究~
本次测试所有broker使用10.16.18.213:2181上的zookeeper

	broker1	broker2	broker3	broker4
brokerId	1	2	11	12
ip	10.16.18.213	10.16.18.213	10.16.18.214	10.16.18.214
端口	9093	9094	9093	9094
消息存储路径	/root/kafka/kafka_2.11-1.0.0/data1	/root/kafka/kafka_2.11-1.0.0/data2	/root/kafka/kafka_2.11-1.0.0/data1	/root/kafka/kafka_2.11-1.0.0/data2
日志	/kafka_2.11-1.0.0/logs	/kafka_2.11-1.0.0/logs	/kafka_2.11-1.0.0/logs	/kafka_2.11-1.0.0/logs
zookeeper	10.16.18.213:2181	10.16.18.213:2181	10.16.18.213:2181	10.16.18.213:2181

日志

控制台输出的日志存放在kafka_2.11-1.0.0/logs下，如果启动失败，可以在这里查看失败原因。logs目录下包含以下日志文件

# kafka集群中有一台机器是控制器，那么控制器角色的日志就记录在这里
controller.log
# Kafka权限认证相应操作日志
kafka-authorizer.log
# 请求日志
kafka-request.log 
# kafkaGC日志
kafkaServer-gc.log.0.current
# kafka控制台输出日志
kafkaServer.out
# 清理日志
log-cleaner.log 
#kafkaAppender的appender和layout
server.log
# Kafka分区角色切换等状态转换日志	
state-change.log
# zookeeper GC日志
zookeeper-gc.log.0.current