大数据学习系列11-Centos6.7下kafka_2.11-0.8.2.2集群安装部署

集群规划 

主机          IP                            安装的软件                                 运行的进程

mini2     192.168.33.62    jdk、kafka、zookeeper        Kafka、QuorumPeerMain

mini3     192.168.33.63    jdk、kafka、zookeeper        Kafka、QuorumPeerMain

mini4     192.168.33.64    jdk、kafka、zookeeper        Kafka、QuorumPeerMain

1、下载安装包
http://kafka.apache.org/downloads.html
在linux中使用wget命令下载安装包
  wget https://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
2、解压安装包
tar -zxvf /home/hadoop/export/software/kafka_2.11-0.8.2.2.tgz -C /home/hadoop/export/servers/
cd /home/hadoop/export/servers/
ln -s kafka_2.11-0.8.2.2 kafka
3、修改配置文件
cp   /home/hadoop/export/servers/kafka/config/server.properties
/home/hadoop/export/servers/kafka/config/server.properties.bak
vi  /home/hadoop/export/servers/kafka/config/server.properties
输入以下内容：

#broker的全局唯一编号，不能重复
broker.id=0
#用来监听链接的端口，producer或consumer将在此端口建立连接
port=9092
#处理网络请求的县城数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓存区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小  
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小 
socket.request.max.bytes=104857600
#kafka运行日志存放的路径，需要提前创建好
log.dirs=/home/hadoop/export/servers/logs/kafka
#topic在当前broker上的分片个数  
num.partitions=2
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#滚动生成新的segment文件的最大时间
log.roll.hours=168
#日志中每个segment的大小，默认为1G
log.segment.bytes=1073741824
#周期性检查文件大小的时间
log.retention.check.interval.ms=300000
#日志清理是否打开
log.cleaner.enable=true
#broker需要使用zookeeper保存meta数据
zookeeper.connect=mini2:2181,mini3:2181,mini4:2181
#zookeeper链接超时时间
zookeeper.connect.timeout.ms=6000
#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000
#消息buffer的时间，达到阈值，将触发flush到磁盘
log.flush.interval.ms=3000
#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true
#此处的host.name为本机IP（重要），如果不改，则客户端会抛出：Producer connect to localhost:9092 unsuccessful错误！
host.name=mini2
advertised.host.name=192.168.33.62

4、分发安装包
scp -r /home/hadoop/export/servers/kafka_2.11-0.8.2.2 mini3:/home/hadoop/export/servers

scp -r /home/hadoop/export/servers/kafka_2.11-0.8.2.2 mini4:/home/hadoop/export/servers
然后分别在各机器上创建软连
cd /home/hadoop/export/servers/
ln -s kafka_2.11-0.8.2.2 kafka
5、再次修改配置文件（重要）
依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。
以及host.name
6、启动集群
依次在各节点上启动kafka
bin/kafka-server-start.sh  config/server.properties

查看进程

7、Kafka常用操作命令
l 查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper  mini2:2181
 

安装完成，使用命令行的方式对kafka进行管理，也可以使用当前开源的集群管理界面