本文以部署三台kafka broker 为例讲解, kafka版本为 kafka_2.9.2-0.8.1.1, 运行环境为centos,jdk版本为1.7以上,kafka依赖zookeeper, 部署之前部署好zookeeper集群。
1. 获取kafka
在kafka下载页面 http://kafka.apache.org/downloads.html 中,选择需要的版本下载,不同的大版本号下有多个分支版本,
选择推荐版本下载, 这里选择下载kafka_2.9.2-0.8.1.1版本。
2. 系统配置
把下载好的kafka在规划好的安装目录下解压, tar -xavf kafka_2.9.2-0.8.1.1.tgz, 进入config 目录,对其中的配置文件进行修改。
kafka broker 运行时全局相关的属性在server.properties中配置:
broker.id 从0开始,将第一台kafka的id配置为broker.id=0,其他两台依次为1, 2
port 是kafka对外提供的接口通信端口, 默认为9092即可
host.name 为运行主机的hostname,设为hostname或IP地址都可以
num.partitions 为消息的分区数, kafka中的消息是分布式存储的, 三台server 设为num.partitions=3,当然可以设的更大
default.replication.factor 为消息