![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
yagch
这个作者很懒,什么都没留下…
展开
-
kafka 经验
1、数据丢失和重复 kafka ack 设置为0 不等leader落盘直接确认回复 leader挂了 数据丢失 设置为1 时 leader落盘后不等所有副本全部落盘 确认回复 leader 挂了 选举新leader 无此数据 数据丢失 ACK设置为-1 leader和副本都落盘后确认回复 如果在落盘完成之后 leader回...原创 2019-10-22 21:20:52 · 437 阅读 · 0 评论 -
kafka manager安装
下载安装包,并解压到你自己指定的目录进入到/opt/module/kafka-manager-1.3.3.22/conf目录,在application.conf文件中修改kafka-manager.zkhosts[yang@hadoop102 conf]$ vim application.conf修改为:kafka-manager.zkhosts="hadoop102:2181,h...原创 2019-10-22 21:19:20 · 176 阅读 · 0 评论 -
kafka 文件删除策略
基于时间 日志删除任务会检查当前日志文件中是否有保留时间超过设定的阈值retentionMs来寻找可删除的的日志分段文件集合deletableSegments,参考下图所示。retentionMs可以通过broker端参数log.retention.hours、log.retention.minutes以及log.retention.ms来配置,其中log.retentio...原创 2019-10-22 21:15:17 · 1307 阅读 · 0 评论