storm读kafka数据源保证消息不丢失的方法

原创 2015年07月10日 19:33:11
ack设置成-1 unclean设置为false就不丢数了,除非所有集群都同时挂,磁盘缓存没刷新
再设置个mini isr=2更大保证一下
如果你们ack设置的默认为1,那么切换leader的时候丢数很正常
看你们的需求了,吞吐量跟性能做个平衡
还有topic级别两个配置
ack是生产者的
unclean、mini isr是topic的

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

storm中消息安全机制,如何保证消息在传输中不丢失

storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的,以及我们使用者怎么做才能充分利用storm的可靠性特点。 一个tuple被”完全处理”是什么...

sparkStreamming和高级数据源kafka

对于SparkStreaming+Kafka的组合,有两种方法。 Approach 1: Receiver-based Approach Approach 2: Direct Approach (No...

使用storm trident消费kafka消息

一、前言     storm通过保证数据至少被处理一次来保证数据的完整性,由于元祖可以重发,对于一些需要数据精确的场景,可以考虑用storm trident实现。     传统的事物型拓扑中存在几...
  • zjbagb
  • zjbagb
  • 2017-01-06 10:40
  • 1146

搭建zookeeper-Kafka-Storm消息系统

zookeeper,kafka,storm环境搭建
  • no99es
  • no99es
  • 2015-11-13 09:06
  • 2709

Twitter Storm如何保证消息不丢失

Twitter Storm如何保证消息不丢失 转载自 http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/   本文翻译...

Twitter Storm如何保证消息不丢失

转载自:徐明明的博客,查看原文 本文翻译自: https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processing ...

Storm如何保证消息不丢失 (Guaranteeing-message-processing)

转自: http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/本文翻译自: https://github.com/nathanmarz/st...
  • tagsT
  • tagsT
  • 2016-03-11 11:21
  • 272

[WARN] Network error when fetching messages:storm-kafka-0.8导致kafka读取数据丢失

2015-01-09T16:17:10.090+0800 s.k.KafkaUtils [WARN] Network error when fetching messages: java.net.Co...

Storm如何保证消息不丢失

storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的,以及我们使用者怎么做才能充分利用storm的可靠性特点。 一个tuple被”完全处理”是...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)