kafka集群配置

1.准备

http://kafka.apache.org/downloads

官网下载地址

将文件上传到虚拟机上,解压

tar -zxvf 下载的压缩包 -C 解压到文件路径

2.文件配置

2.1解压后更改文件夹名称（可不改）

mv  kafka_2.11-0.11.0.0/ kafka

在kafka目录下新建一个文件夹

mkdir data

2.2修改配置文件

cd config/

vi  server.properties

zookeeper集群的连接根据zookeeper的配置进行灵活的更改

#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181

server.properties文件更改

#broker 的全局唯一编号，不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/data
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181

2.3配置环境变量

sudo vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

 source /etc/profile

分发安装包

 xsync kafka/

注意：分发之后记得配置其他机器的环境变量

分别在 hadoop102 和 hadoop103 上修改配置文件/opt/module/kafka/config/server.properties
中的 broker.id=1、broker.id=2
注：broker.id 不得重复

3.启动

启动

bin/kafka-server-start.sh -daemonconfig/server.properties

停止

bin/kafka-server-stop.sh stop

脚本启动

点击可转到：脚本启动教程