Kafka集群部署与测试

1、下载、解压安装包：

将安装包上传到master节点中的/opt/software目录下，并将安装包解压到/opt/moduel，再命名为kafka 具体命令如下：

tar -zxvf kafka-2.11-2.0.0.tgz -C /opt/module

mv kafka-2.11-2.0.0.tgz kafka

2、修改配置文件

进入Kafka文件下的config目录，修改server.properties配置文件。

首先我在/opt目录下创建一个/data目录，存放kafka日志。

 

 

关于文件中的核心参数介绍如下:

(1)broker.id:集群中每个节点的唯一且永久的名称,该值必须大于或等于0,在本案例中，主机名为master、slave1、slave2的节点中，该参数值依次设置为0、1、2。

(2)log.dirs:指定运行日志存放的地址,可以指定多个目录,并以逗号分隔。(3)zookeeper.connect:指定Zookeeper集群中的IP与端口号。

(4) delete.topic.enable:是否允许删除 Topic，如果设置 true,表示允许删除。

(5)host.name:设置本机 IP 地址。若设置错误，则客户端会抛出Producer connection to localhost:9092 unsuccessful 的异常信息。

3、添加环境变量（vi  /etc/profile）

添加内容如下：

export  KAFKA_HOME =/opt/mofule/kafka

export PATH=$PATH:$KAFKA_HOME/bin

 

4、分配文件

修改配置文件后。将Kafka分发至slave两个节点，代码如下：

 scp -r kafka/ slave1:/opt/module/

 scp -r kafka/ slave2:/opt/module

 scp /etc/profile slave1:/etc/profile

scp /etc/profile slave1:/etc/profile

5、在slave1节点和slave2节点上修改Kafka的配置文件

 

 

 

 6、启动Kafka服务

因为Kafka服务依赖zookeeper，所以现在三个节点上开启zookeeper服务，命令为：zkServer.sh   start ，在开启Kafka服务。

上图所示，用jps命令可以看到zookeeper和kafka服务已经开启，所以kafka已经安装完毕。