Kafka 集群安装

一、集群准备

node1 192.168.157.128

node1 192.168.157.129

node1 192.168.157.130

二、安装zookeeper集群

Zookeeper 集群安装_傲傲娇的博客-CSDN博客

三、下载kafka

Apache Kafka

四、安装kafka

1. 将kafka安装包上传到服务器的/opt/apps目录下

2. 解压

tar -zxvf kafka_2.12-3.2.3.tgz

3. 创建kafka日志目录

cd kafka_2.12-3.2.3
mkdir logs

4. 修改kafka配置

编辑config目录下的server.properties文件,在不同的节点只需要更改不同的host.name和broker.id

# 每个broker在集群中的唯一标识,不能重复
broker.id=0
# 端口
port=9092
# broker主机地址或者hostname
host.name=node1
# broker处理消息的线程数
num.network.threads=3
# broker处理磁盘io的线程数
num.io.threads=8
# socket发送数据缓冲区
socket.send.buffer.bytes=102400
# socket接收数据缓冲区
socket.receive.buffer.bytes=102400
# socket接收请求最大值
socket.request.max.bytes=104857600
# kafka数据存放目录位置,多个位置用逗号隔开
log.dirs=/opt/apps/kafka_2.12-3.2.3/logs
# topic默认的分区数
num.partitions=1
# 恢复线程数
num.recovery.threads.per.data.dir=1
# 默认副本数
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 消息日志最大存储时间,这里是7天
log.retention.hours=168
# 每个日志分段文件大小,这里是1g
log.segment.bytes=1073741824
# 消息日志文件大小检查间隔时间
log.retention.check.interval.ms=300000
# zookeeper集群地址
zookeeper.connect=192.168.157.128:2181,192.168.157.129:2181,192.168.157.130:2181
# zookeeper连接超时时间
zookeeper.connection.timeout.ms=6000
# 推迟初始消费者再平衡时间。
group.initial.rebalance.delay.ms=0

5. 启动kafka(先启动zookeeper集群)

#到bin目录下执行
#后台启动加参数-daemon
./kafka-server-start.sh -daemon ../config/server.properties

6. 测试生产和消费

#生产消息
./kafka-console-producer.sh --broker-list 192.168.157.128:9092,192.168.157.129:9092,192.168.157.130:9092 --topic test-topic
#消费消息
./kafka-console-consumer.sh --bootstrap-server 192.168.157.128:9092,192.168.157.129:9092,192.168.157.130:9092 --topic test-topic

 到此kafka集群安装完毕。

 

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值