关闭

storm读kafka数据源保证消息不丢失的方法

标签: stormkafka
808人阅读 评论(0) 收藏 举报
分类:
ack设置成-1 unclean设置为false就不丢数了,除非所有集群都同时挂,磁盘缓存没刷新
再设置个mini isr=2更大保证一下
如果你们ack设置的默认为1,那么切换leader的时候丢数很正常
看你们的需求了,吞吐量跟性能做个平衡
还有topic级别两个配置
ack是生产者的
unclean、mini isr是topic的

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:108829次
    • 积分:2509
    • 等级:
    • 排名:第14774名
    • 原创:90篇
    • 转载:161篇
    • 译文:31篇
    • 评论:8条
    最新评论