storm读kafka数据源保证消息不丢失的方法

原创 2015年07月10日 19:33:11
ack设置成-1 unclean设置为false就不丢数了,除非所有集群都同时挂,磁盘缓存没刷新
再设置个mini isr=2更大保证一下
如果你们ack设置的默认为1,那么切换leader的时候丢数很正常
看你们的需求了,吞吐量跟性能做个平衡
还有topic级别两个配置
ack是生产者的
unclean、mini isr是topic的

版权声明:本文为博主原创文章,未经博主允许不得转载。

Storm流式计算小结+集群故障恢复

storm小结: storm由Twitter开源,是一个分布式、容错的实时计算系统,基本由Clojure写的,但几乎可以使用任何语言编写应用程序,每秒可处理数以百万计的消息。 离线计算:数据...
  • Nanphonfy
  • Nanphonfy
  • 2017年06月27日 20:18
  • 531

Twitter Storm是如何保证数据不丢失的?

Twitter Storm一个很好的功能就是保证数据不丢失,下面就看一下它是如何保证的呢。 A Storm topology has a set of special "acker" tas...
  • macyang
  • macyang
  • 2011年12月04日 23:18
  • 1660

Kafka深度解析

背景介绍 Kafka简介   Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高...
  • qqqq724
  • qqqq724
  • 2015年01月28日 13:04
  • 66827

storm-kafka常见问题(更新中)

1.报zookeeper NoNode for /brokers/topics/topic_test/partitions, 就是说DynamicBrokersReader.getNumPartiti...
  • cglThk
  • cglThk
  • 2015年05月19日 14:24
  • 958

storm-kafka数据读取问题

在storm的bolt中,接受kafka会出现数据读不到的问题: 控制台不报错,但是有如上的提示,提醒有Fetched 31 messages from:和 Added 31 messages f...
  • sundujing
  • sundujing
  • 2015年08月24日 17:01
  • 2654

storm中消息安全机制,如何保证消息在传输中不丢失

storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的,以及我们使用者怎么做才能充分利用storm的可靠性特点。 一个tuple被”完全处理”是什么...
  • shenxiaoming77
  • shenxiaoming77
  • 2015年12月17日 09:57
  • 1156

day23 日志流分析

1、我们的用户 产品线的产品专员和负责人 2、用户的需求 多维度的分析各项业务指标 需要实时 3、以往的模式 业务人员向数据部的数据接口人提交需求,接口人将需求转给hive工程师,hive工程师写sq...
  • xiamaocheng
  • xiamaocheng
  • 2017年03月06日 12:39
  • 177

Flume+Kafka+Storm+Redis实时分析系统基本架构

今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一个简单的入门级架构,实际生产环境中的大数据实时分析技术...
  • ymh198816
  • ymh198816
  • 2016年07月24日 01:24
  • 26566

kafka数据可靠性深度解读

1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如C...
  • u013256816
  • u013256816
  • 2017年05月02日 19:19
  • 11745

kafka数据可靠性深度解读

本文转自:http://mp.weixin.qq.com/s/ExzSzf0ue7d-_Qv8q6p9bw Kafka起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的...
  • gxsenjoy
  • gxsenjoy
  • 2017年04月28日 13:46
  • 964
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:storm读kafka数据源保证消息不丢失的方法
举报原因:
原因补充:

(最多只允许输入30个字)