Storm学习----ACK机制

最新推荐文章于 2022-02-13 17:27:02 发布
VIP文章 最新推荐文章于 2022-02-13 17:27:02 发布
阅读量2.3k 收藏
点赞数 1
分类专栏： storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/endlu/article/details/52151967
版权

对于Storm，有一个相对比较重要的概念就是 "Guarantee no data loss" -- 可靠性

很明显,要做到这个特性，必须要tracker 每一个data的去向和结果，Storm是如何做到的？

那就是我们接下来要说的 Acker 机制，先概括下Acker所参与的工作流程

1 Spout 创建一个新的Tuple时候，会发射一个消息通知acker去跟踪；

2 Bolt 在处理Tuple成功或者失败的时候，也会发送一个消息通知Acker

3 Acker会回调发射该Tuple的Spout其Ack ，fail方法

一个tuple被完全处理

最低0.47元/天 解锁文章
end
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SpaceVim-其他
06-12
3、实时代码检索：SpaceVim 自带的 FlyGrep 这个插件可以根据输入实时搜索项目代码，当然需要借助后台搜索工具， 目前支持的工具有：ag，rg，ack，pt 和 grep，用户可任意选择一个喜欢的工具。4、快捷键辅助导航：在...
Storm 中的ack机制
junewangmumu123的博客
08-02 459
一.ack原理 Storm中有个特殊的task名叫acker，他们负责跟踪spout发出的每一个Tuple的Tuple树（因为一个tuple通过spout发出了，经过每一个bolt处理后，会生成一个新的tuple发送出去）。当acker（框架自启动的task）发现一个Tuple树已经处理完成了，它会发送一个消息给产生这个Tuple的那个task。 Acker的跟踪算法是Storm的主要突破之一...
Storm ACK机制
一路前行
08-19 4708
一、Ack是什么     为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪。 ack机制即， spout发送的每一条消息：  在规定的时间内，spout收到Acker的ack响应，即认为该tuple 被后续bolt成功处理  在规定的时间内，没有收到Acker的ack响应tuple，就触发fail动作，即认为该tuple处理失败，  或
Storm的ack原理和使用
weixin_43167990的博客
09-28 1546
Storm的ack原理 通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。 另外需要注意的，当spout触发fail动作时，不会自动重发失败的tuple，需要spout自己重新获取数据，手动重新再发送一...
storm的ACK
superWe的博客
04-14 218
1.Storm任务提交的过程 storm任务提交jar包时节点相互之间拷贝jar包都涉及到网络传输,所以一般都要实现序列化接口serialiazble 执行过程 client ​ 提交jar包到nimbus节点 → nimbus把jar包保存在本地目录 →分配任务信息 → zookeeper → supervisor 通过任务感知机制去zk上面发现对应...
storm的ack机制以及原理
麋鹿麋鹿迷了路
04-28 401
Storm的ack机制 Ack机制基本知识 （1）为了保证消息处理过程中的可靠性,storm使用了ack机制。storm会专门启动若干acker线程，来追踪tuple的处理过程。acker线程数量可以设置。 （2）每一个Tuple在Spout中生成的时候,都会分配一个64位的messageId。通过对messageId进行哈希我们可以知道要对哪个ack...
helm-ack:应用程序
05-15
赫尔姆·阿克 不推荐使用此程序包。 此pacakge不适用于较新的头盔。...helm-ack-use-ack-grep （默认为nil ） 如果您将ack作为debian软件包安装，请将t设置为此变量。 helm-ack-base-command 基本ack命令，默认为
rabbitmq-ack
最新发布
12-17
rabbitmq-ack
ACK-055-06电机控制器
06-11
Accelnet Micro Module is a digital servodrive that combines CAN open networking with 100% digital control of brush or brushless motors in a pc board mounting package with power options to 5 Adc ...
CSM32RV20-Si24R1_ACK.rar
10-13
单片机CSM32RV20通过硬件SPI操作Si24R1,串口打印，中断等操作。
storm利用ack保证数据的可靠性源码
10-10
storm利用ack保证数据的可靠性，发送失败时进行重发，保证数据不丢失。
storm - 可靠机制
zzbjut
08-10 5873
Storm 可靠性剖析
Apache Storm的ACK机制
hongbo1515的博客
02-13 797
Apache Storm的ACK机制，为保证消息完整性，设计了ACK机制。Storm监控从Spout发出的tuple，Bolt返回ACK结果，在Spout中判定数据返回结果，成功会调用ack()方法，失败调用fail()方法。失败数据重新发送实现方法。
storm的ack消息不丢失机制
努力赚钱就可以住更好的养老院
09-17 756
1：ack是什么 ack 机制是storm整个技术体系中非常闪亮的一个创新点。 通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。 另外需要注意的，当spout触发fail动作时，不会自动重...
xor(异或)解决Storm的Tuple确认问题
qq_36864672的博客
01-08 400
Storm spout的nextTuple以及bolt的execute Storm的API非常丰富，但是记住，本文介绍的ACK机制需要特殊的支持。也就是说，本文所说的ACK的机制只是Storm的一种可选机制，你完全可以无视它去选择一种轻量的无确认的Best effort方式去使用Storm，本文之所以单独介绍ACK机制，是因为其优雅。   在编写spout的nextTuple时，最终你必须要em...
Storm ACK机制详解
Transkai
05-22 129
消息不丢失机制ack ack是什么 ack 机制是storm整个技术体系中非常闪亮的一个创新点。 通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。 比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。 另外需要注意的，当spout触发fail...
Python-tuple的使用
WRY的博客
11-02 205
# 元组的基本使用 ，可以理解为在Java 中 用final 修饰后的 list ，为不可变 的常量 # 元组的创建1 tuple1 = ("a", "b", "c", 1, 2, 3) # 元组的创建2 可以不用括号 但是不建议这样整 使用标准点的写法 tuple2 = "a", "b", "c", 1, 2, 3 print(type(tuple1)) print(tuple1) print(tuple1 * 2) # 获取元组的索引的值 与list 列表的获取方式相同 print(tuple1[0
Storm应用系列之——可靠性与acker机制
热门推荐
Edison Xu
01-02 1万+
Storm是如何保证数据的不丢失的？内部原理是什么？什么是acker？
Storm的ACK机制与编码实例
cm_chenmin的专栏
10-25 6917
Storm为了保证每条数据成功被处理,实现至少一次语义，通过Storm的ACK机制可以对spout产生的每一个tuple进行跟踪; tuple处理成功是指这个Tuple以及这个Tuple产生的所有子Tuple都被成功处理, 由每一个处理bolt通过OutputCollector的方法ack(tuple)来告知storm当前bolt处理成功，最终调用spout的ack方法； 处理失败是指这个Tu
CF-Ack CF-poll
09-05
CF-Ack和CF-poll是无线通信中的两个概念。 CF-Ack是指确认帧（Confirmation Frame Acknowledgment），用于在无线网络中确认接收到的数据帧。当一个设备成功接收到数据帧后，会发送一个确认帧给发送方，表示数据已经...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值