storm读kafka数据源保证消息不丢失的方法

原创 2015年07月10日 19:33:11
ack设置成-1 unclean设置为false就不丢数了,除非所有集群都同时挂,磁盘缓存没刷新
再设置个mini isr=2更大保证一下
如果你们ack设置的默认为1,那么切换leader的时候丢数很正常
看你们的需求了,吞吐量跟性能做个平衡
还有topic级别两个配置
ack是生产者的
unclean、mini isr是topic的

版权声明:本文为博主原创文章,未经博主允许不得转载。

storm中消息安全机制,如何保证消息在传输中不丢失

storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的,以及我们使用者怎么做才能充分利用storm的可靠性特点。 一个tuple被”完全处理”是什么...

storm 0.10.0 kafkaSpout 总是读取旧消息 offset丢失问题

Storm开发免不了本地测试,storm 0.9.6的版本一切正常,升级到0.10.0本地localCluster运行出现了问题。 kafkaSpout每次启动读取消息都是from-beginnin...
  • no99es
  • no99es
  • 2015年12月10日 17:57
  • 3754

storm-kafka数据流量问题

目标:每秒18000条数据能够通过storm挖掘处理完 问题:通过kafka完成,每秒只能处理5000条左右 1.通过增加bolt的处理线程数,并未发现UI上的每秒处理的速度变快 2.写文件,决...

storm实时消费kafka数据

程序环境,在kafka创建名称为data的topic,开启消费者模式,准备输入数据。 程序的pom.xml文件 org.apache.storm storm-core ...

storm-kafka数据读取问题

在storm的bolt中,接受kafka会出现数据读不到的问题: 控制台不报错,但是有如上的提示,提醒有Fetched 31 messages from:和 Added 31 messages f...

kafka丢数据和数据重复

首先这个是我的原创文章,也参考了网络上的各位大神的文章加上自己的总结,欢迎各位大神指出错误!我们共同进步! 1.kafka的数据交换是在哪里完成? kafka设计的初衷是尽一切努力在内存中完成...

storm-kafka示例详解

(一)简介 1、本项目完整代码请见https://github.com/jinhong-lu/stormkafkademo/tree/master/src/main/java/org/jinhong/...

8.输入DStream之Kafka数据源实战(基于Receiver的方式)

基于Receiver的方式 这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spa...

sparkStreamming和高级数据源kafka

对于SparkStreaming+Kafka的组合,有两种方法。 Approach 1: Receiver-based Approach Approach 2: Direct Approach (No...

使用storm trident消费kafka消息

一、前言     storm通过保证数据至少被处理一次来保证数据的完整性,由于元祖可以重发,对于一些需要数据精确的场景,可以考虑用storm trident实现。     传统的事物型拓扑中存在几...
  • zjbagb
  • zjbagb
  • 2017年01月06日 10:40
  • 1492
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:storm读kafka数据源保证消息不丢失的方法
举报原因:
原因补充:

(最多只允许输入30个字)