kafka集群部署

准备工作：
1）下载：http://kafka.apache.org/downloads.html
2）虚拟机关闭防火墙：chkconfig iptables off （开机不自动启动）
3）安装JDK
4）安装Zookeeper
安装：
1）解压安装包到指定目录：

tar -xvf kafka_2.11-0.11.0.0.tgz -C /home/hadoop/install/

2）在/home/hadoop/installhome/hadoop/install/kafka_2.11-0.11.0.0目录下创建logs文件夹：

mkdir logs

3）在config目录下修改配置文件：

vi server.properties

输入以下内容：

#broker的全局唯一编号，不能重复
broker.id=0
#是否允许删除topic
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的最大缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5）配置环境变量

vi /etc/profile

export KAFKA_HOME=/home/hadoop/installhome/hadoop/install/kafka_2.11-0.11.0.0
export PATH=$PATH:$KAFKA_HOME/bin

6）分发安装包

xsync /etc/profile
xsync /home/hadoop/installhome/hadoop/install/kafka_2.11-0.11.0.0

7）分别在另外两台虚拟机上修改配置文件server.properties中的broker.id=1、broker.id=2
注意：broker.id不得重复
8）启动kafka集群
在三台虚拟机上依次启动kafka（两种方式都可以）

./bin/kafka-server-start.sh -daemon config/server.properties

bin/kafka-server-start.sh config/server.properties &

9）关闭kafka集群

bin/kafka-server-stop.sh stop