kafka高可用集群搭建流程
机器配置
机器ip地址:10.16.18.213;10.16.18.214
Kafka版本信息
kafka版本:kafka_2.11-1.0.0
zookeeper版本: 使用kafka自带的zookeeper
下载地址:http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
Broker
以四个broker为例,每台机器运行两个broker,通过设置端口区分
目前没有使用zookeeper高可靠,有待深入研究~
本次测试所有broker使用10.16.18.213:2181上的zookeeper
broker1 | broker2 | broker3 | broker4 | |
---|---|---|---|---|
brokerId | 1 | 2 | 11 | 12 |
ip | 10.16.18.213 | 10.16.18.213 | 10.16.18.214 | 10.16.18.214 |
端口 | 9093 | 9094 | 9093 | 9094 |
消息存储路径 | /root/kafka/kafka_2.11-1.0.0/data1 | /root/kafka/kafka_2.11-1.0.0/data2 | /root/kafka/kafka_2.11-1.0.0/data1 | /root/kafka/kafka_2.11-1.0.0/data2 |
日志 | /kafka_2.11-1.0.0/logs | /kafka_2.11-1.0.0/logs | /kafka_2.11-1.0.0/logs | /kafka_2.11-1.0.0/logs |
zookeeper | 10.16.18.213:2181 | 10.16.18.213:2181 | 10.16.18.213:2181 | 10.16.18.213:2181 |
日志
控制台输出的日志存放在kafka_2.11-1.0.0/logs
下,如果启动失败,可以在这里查看失败原因。logs目录下包含以下日志文件
# kafka集群中有一台机器是控制器,那么控制器角色的日志就记录在这里
controller.log
# Kafka权限认证相应操作日志
kafka-authorizer.log
# 请求日志
kafka-request.log
# kafkaGC日志
kafkaServer-gc.log.0.current
# kafka控制台输出日志
kafkaServer.out
# 清理日志
log-cleaner.log
#kafkaAppender的appender和layout
server.log
# Kafka分区角色切换等状态转换日志
state-change.log
# zookeeper GC日志
zookeeper-gc.log.0.current