kafka集群搭建步骤

1、搭建软件环境

1）linux一台或多台，大于等于2

2）已经搭建好的zookeeper集群

3）下载kafka安装包：

http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz

2、解压tar –zxvf kafka_2.10-0.10.1.1.tgz；

3、在kafka安装目录下，新建目录kafkalogs；

4、在config目录下修改配置文件server.properties，

broker.id=0  每台服务器的broker.id都不能相同

port=19092
#hostname
host.name=192.168.x.xxx
#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880

default.replication.factor=2

replica.fetch.max.bytes=5242880

 

#设置zookeeper的连接端口

zookeeper.connect=192.168.x.1xx:12181,192.168.x.2xx:12181,192.168.x.3xx:12181

5、启动kafka集群，./kafka-server-start.sh-daemon ../config/server.properties

6、检查服务是否启动，jps | grepkafka

7、创建Topic来验证是否创建成功：http://kafka.apache.org/quickstart