kafka集群安装

kafka集群安装

一、下载

wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz

二、解压

tar -zxvf kafka_2.13-2.7.0.tgz -C /opt/module/

三、配置

vim ${KAFKA_HOME}/config/server.properties

#broker的全局唯一编号，不能重复
broker.id=01
 
#用来监听链接的端口，producer或consumer将在此端口建立连接
port=9092
 
#处理网络请求的线程数量
num.network.threads=3
 
#用来处理磁盘IO的线程数量
num.io.threads=8
 
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
 
#接受套接字的缓冲区大小
socket.receive.buffer.bytes=102400
 
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
 
#kafka消息存放的路径
log.dirs=/home/servers-kafka/logs/kafka
 
#topic在当前broker上的分片个数
num.partitions=2
 
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
 
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
 
#滚动生成新的segment文件的最大时间
log.roll.hours=168
 
#日志文件中每个segment的大小，默认为1G
log.segment.bytes=1073741824
 
#周期性检查文件大小的时间
log.retention.check.interval.ms=300000
 
#日志清理是否打开
log.cleaner.enable=true
 
#broker需要使用zookeeper保存meta数据
zookeeper.connect=master:2181,slave1:2181,slave2:2181
 
#zookeeper链接超时时间
zookeeper.connection.timeout.ms=6000
 
#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000
 
#消息buffer的时间，达到阈值，将触发flush到磁盘
log.flush.interval.ms=3000
 
#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true
 
#此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producerconnection to localhost:9092 unsuccessful 错误!
host.name=master

四、分发

scp -r kafka_2.13-2.7.0 node3:/opt/module/
# 修改server.properties下的broker.id

五、启动

全部机器

cd /opt/module/kafka_2.13-2.7.0
# 后台启动,最后加&
./bin/kafka-server-start.sh -daemon config/server.properties &

六、测试

6.1 创建topic

cd /opt/module/kafka_2.13-2.7.0
./bin/kafka-topics.sh --create --zookeeper node4:2181,node3:2181,node2:2181 --replication-factor 3 --partitions 3 --topic dyh_first_0310

6.2 查看topic

cd /opt/module/kafka_2.13-2.7.0
./bin/kafka-topics.sh --list --zookeeper node4:2181,node3:2181,node2:2181

6.3 删除topic

6.4 启动生产者

cd /opt/module/kafka_2.13-2.7.0
./bin/kafka-console-producer.sh --broker-list node4:9092,node3:9092,node2:9092 --topic dyh_first_0310

6.5 删除生产者

6.6 启动消费者

cd /opt/module/kafka_2.13-2.7.0
./bin/kafka-console-consumer.sh --bootstrap-server node4:9092,node3:9092,node2:9092 --from-beginning --topic dyh_first_0310

6.7 删除消费者