[Kafka快速入门一]------搭建Kafka集群

1.前言

由于kafka是交由zookeeper管理的，所以在搭建kafka集群前请先搭建好zookeeper，具体操作可以看另一篇博文

[zookeeper快速入门一]------简单搭建zookeeper集群

2.准备

kafka_2.11-1.0.0 kafka下载地址

两台虚拟机，ip分别为

master 192.168.33.128

slave1 192.168.33.129

3.kafka集群搭建

1.解压kafka_2.11-1.0.0.tgz

tar -zxvf kafka_2.11-1.0.0.tgz

2.修改kafka配置文件，这里主要关注server.properties即可

在server.properties中主要修改如下三个配置：

broker.id=0  //每个kafka服务器的唯一识别id

listeners=PLAINTEXT://:9092    //kafka对外提供服务的默认端口

zookeeper.connect=192.168.33.128:2181,192.168.33.129:2181   //zookeeper链接

default.replication.factor=2  //kafka中Topic的备份数量，建议设置成brokers的数目，本次案例集群有2个brokers

3.将kafka目录分发到各个slave节点

scp -r kafka_2.11-1.0.0/ root@slave:~/hdp/

4.修改各个slave节点的server.properties配置文件中的broker.id

broker.id=1

5.启动各个节点的kafka

./kafka-server-start.sh -daemon ../config/server.properties

6.使用jps查看各个节点是否成功启动kafka

1427 QuorumPeerMain
1864 Kafka
1881 Jps

至此kafka集群的简单搭建成功！

有关kafka的命令行操作请看下篇[Kafka快速入门二]------使用命令行操作Kafka