storm读kafka数据源保证消息不丢失的方法

ack设置成-1 unclean设置为false就不丢数了,除非所有集群都同时挂,磁盘缓存没刷新
再设置个mini isr=2更大保证一下
如果你们ack设置的默认为1,那么切换leader的时候丢数很正常
看你们的需求了,吞吐量跟性能做个平衡
还有topic级别两个配置
ack是生产者的
unclean、mini isr是topic的

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/codemosi/article/details/46834325
文章标签: storm kafka
个人分类: storm kafka
上一篇安装clojure编译工具leiningen
下一篇01 NIO网络通信框架 Netty server和client的api
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭