kafka集群安装详细说明

1.先安装好zookeeper集群


2.下载好kafka安装包


3.解压安装包
tar -zxvf kafka_2.11-0.8.2.2.tgz -C /


4.修改配置文件
config/server.properties


内容如下：
——————————————————————————————————————————————————————————————————————————————————
#broker的全局唯一编号，不能重复
broker.id=0


#用来监听链接的端口，producer或consumer将在此端口建立连接
port=9092


#处理网络请求的线程数量
num.network.threads=3


#用来处理磁盘IO的线程数量
num.io.threads=8


#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400


#接受套接字的缓冲区大小
socket.receive.buffer.bytes=102400


#请求套接字的缓冲区大小
socket.request.max.bytes=104857600


#kafka运行日志存放的路径
log.dirs=/export/servers/logs/kafka


#topic在当前broker上的分片个数
num.partitions=2


#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1


#segment文件保留的最长时间，超时将被删除
log.retention.hours=168


#滚动生成新的segment文件的最大时间
log.roll.hours=168


#日志文件中每个segment的大小，默认为1G
log.segment.bytes=1073741824


#周期性检查文件大小的时间
log.retention.check.interval.ms=300000


#日志清理是否打开
log.cleaner.enable=true


#broker需要使用zookeeper保存meta数据
zookeeper.connect=mini02:2181,mini03:2181,shizhanmini:2181


#zookeeper链接超时时间
zookeeper.connection.timeout.ms=6000


#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000


#消息buffer的时间，达到阈值，将触发flush到磁盘
log.flush.interval.ms=3000


#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true


#此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!
host.name=mini04




————————————————————————————————————————————————————————————————————————————————————————————————————
5.分发到其他集群
注意：只要修改配置文件的broker.id,不能重复


6.启动集群（每个节点都需要启动）

bin/kafka-server-start.sh config/server.properties