KafkaBroker的重要参数

本文详细介绍了Kafka的若干核心配置参数,包括ISR中的follower剔除时间阈值、自动LeaderPartition平衡、leader负载不平衡检查及触发条件、日志分块大小、索引间隔、数据保留时间和策略等,旨在帮助读者理解Kafka的内部工作机制和优化配置。
摘要由CSDN通过智能技术生成

1. replica.lag.time.max.ms

ISR中,如果Follower长时间未向Leader发送消息请求或同步数据,则该Follower将被提出ISR,该时间阈值,默认30s

2. auto.leader.rebalance.enable

默认是true,自动Leader Partition平衡

3. leader.imbalance.per.broker.perentage

默认是10%。每个broker允许的不平衡的leader的比率。如果每个broker超过了这个值,控制器会触发leader的平衡

4. leader.imbalance.check.interval.seconds

默认值300s,检查leader负载是否平衡的间隔时间

5. log.segment.bytes

kafka中log日志是分成一块块存储的,此配置是指log日志划分成块的大小,默认值1G

6. log.index.interval.bytes

默认4kb,kafak里面每当写入了4kb大小的日志(.log),然后往index文件里面记录一个索引

7. log.retention.hours

kafka中数据保存的时间,默认七天

8. log.retention.hours

kafka中数据保存的时间,分钟级别,默认关闭

9. retention.ms

kafka中数据保存的级别,毫秒级别,默认关闭

10. log.retention.check.interval.ms

检查数据是否保存超时的间隔,默认是5分钟

11. log.retention.bytes

默认等于-1,表示无穷大。超过设置的所有日志总大小,删除最早的segment

12. log.cleanup.policy

默认是delete,表示所有数据启用删除策略;如果设置为compact,表示所有数据启用压缩策略

13. num.io.threads

默认是8,负责写磁盘的线程数。整个参数值要占总核数的50%

14. num.replica.fetchers

默认是3,数据传输线程数,这个参数占总核数的50%的2/3

15. log.flush.interval.messages

强制页缓存刷写到磁盘的条数,默认是long的最大值,一般不建议修改,交给系统自己管理

16. log.flush.interval.ms

每隔多久,刷数据到磁盘,默认是null,一般不建议修改,交给系统自己管理

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值