Storm概念学习系列之storm的可靠性

最新推荐文章于 2020-09-16 00:50:30 发布

weixin_34352449

最新推荐文章于 2020-09-16 00:50:30 发布

阅读量154

点赞数

文章标签：大数据

　　这个概念，对于理解storm很有必要。

1、worker进程死掉

　　worker是真实存在的。可以jps查看。

　　正是因为有了storm的可靠性，所以storm会重新启动一个新的worker进程。

2、supervisor进程死掉

　　不会影响之前已经提交的topology的执行，只是后期不能再想这个节点分配任务罢了。

3、nimbus进程死掉

　　不会影响之前已经提交的topology的执行，只是后期不能再想这个节点分配任务罢了。

4、节点宕机

5、ack/fail消息确认机制

　　见博客

Storm编程入门API系列之Storm的可靠性的ACK消息确认机制

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34352449

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Storm的可靠性

qq_38709565的博客

12-08

451

1、Spout的可靠性保证在Storm中，消息处理可靠性从Spout开始的。storm为了保证数据能正确的被处理, 一个提供了可靠的处理机制的spout需要记录它发射出去的tuple，当下游bolt处理tuple或者子tuple处理失败时spout能够重新发射。子tuple可以理解为bolt处理spout原始tuple。另外一个角度来看，可以将spout发射的数据流看作一个tupl...

Storm如何保证可靠的消息处理

02-25

本文来自于博客园，本文介绍了Storm如何保证可靠性以及作为Storm使用者，我们需要怎么做，才能充分利用Storm的可靠性。Storm可以保证从Spout发出的每个消息都能被完全处理。Storm的可靠性机制是完全分布式的...

参与评论您还未登录，请先登录后发表或查看评论

twitter storm源码走读之7 -- trident topology可靠性分析

weixin_34356310的博客

01-03

107

欢迎转载，转载请注明出处，徽沪一郎。本文详细分析TridentTopology的可靠性实现, TridentTopology通过transactional spout与transactional state相结合，能够做到tuple“只被处理一次，不多也不少”。也就是做到事务性处理exactly-once,要么成功，要么失败。而一般的storm topology是无法保证eactly-on...

Twitter Storm如何保证消息不丢失

竹叶青的专栏

11-24

5070

转载自：徐明明的博客，查看原文本文翻译自： https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processing storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”完全处理”

storm可靠性

zhaoxiaoba123的博客

09-16

234

1、Storm进程容错性 Storm有几个不同的守护进程，nimbus安排工人发射和杀死worker的supervisors,允许访问日志的日志查看器,以及显示群集状态的UI。 1.1、worker死掉了怎么办？当worker死亡时，supervisors会重新启动他，如果连续启动失败，并且无法像nimbus发射心跳信息，nimbus将从新安排工作进程 1.2、当一个节点死亡时会发生什么？分配给该机器的任务将超时，nimbus会将这些任务重新分配给其他机器 1.3、当nimbus或supervisor守

Storm中的可靠性

wangqiaowqo的专栏

03-10

140

http://blog.csdn.net/suifeng3051/article/details/41682441 Storm中的可靠性 Storm的ISpout接口定义了三个与可靠性有关的方法：nextTuple,ack和fail。 [code="java"] public interface ISpout extends Serializable { vo...

Storm深入学习.pdf

最新发布

10-05

了解这些核心概念和配置细节后，开发者能够更好地理解和优化 Storm 应用，确保数据流处理的高效性和可靠性。对于异常处理，Storm 提供了多种机制，如自动重试、故障切换和监控，以确保系统的健壮性。在实际开发过程...

Storm入门指南：从概念到部署与可靠性详解

Storm是一个开源的分布式实时计算框架，专为处理大...Storm的学习涉及理论概念的理解、实践操作（如构建和部署Topology）以及关键组件的工作原理。掌握这些知识点有助于在实时计算领域有效地开发和维护高性能的应用。

传智播客Storm项目实战课程 Storm的集群搭建实战 Storm项目学习视频教程

01-06

01-storm简介 02-storm部署-1 03-storm部署-2 04-storm部署概念 05-streamgrouping 06-storm组件生命周期 07-storm可靠性1 08-storm可靠性2

测试Storm的可靠性：消息保证与实时计算应用

消息完全处理的概念是理解Storm可靠性机制的关键。在给定的Topology示例中，从Spout发出的Tuple会触发一系列处理操作，直到所有衍生的Tuple都被成功处理。例如，KafkaSpout读取数据，SplitSentence Bolt将句子拆分为...

storm利用ack保证数据的可靠性源码

10-10

storm利用ack保证数据的可靠性，发送失败时进行重发，保证数据不丢失。

Storm消息的可靠性

gongrui_59的博客

08-18

502

什么是消息的完整性处理？一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑：TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("sentences", new KestrelSpout("kestrel.backtype.com", 22

Storm可靠性总结

真诚的程序员

12-11

1633

本文主要参考了Storm的可靠性文档 Storm的可靠性是通过一个叫做Acker的模块来实现的，它会跟踪Spout、Bolt发送tuple时所形成的tuple树，看tuple树是成功处理（tuple叶子是否被都被处理）还是失败（只要一个tuple叶子失败了）了。除了Acker要跟踪tuple树的处理状态外，当然还需要Spout和Bolt来配合，才能达到Storm的可靠性。那么如何来配合呢?针对S

storm（六） 可靠性

designer01的博客

08-18

586

集群可靠性 参考：http://storm.apache.org/releases/1.2.2/Daemon-Fault-Tolerance.html Worker可靠性 worker挂掉了，supervisor会重新启动。如果在启动的过程中不断的失败，nimbus没有收到心跳，nimbus会将worker调度到其他supervisor上启动部署supervisor的机...

Storm知识点总结-思维导图

伟红-long-term

09-02

816

storm 可靠性

CottonDuke的博客

04-13

426

work --Executor--task storm 启动一个topology后，启动work，work的信息存在zookeeper里，这个时候，不管是nimbus还是supervisor挂掉了，都不影响work的正常运行。运行过程中如果一个work挂掉了，storm检测不到work的心跳，这时候storm会重新在启动一个work

Storm消息可靠性的保障机制

12-22

2915

参考【并发编程网】的Storm官方教程翻译以WordCountToPology为例： // 构造Topology TopologyBuilder builder = new TopologyBuilder(); builder.setSpout(SPOUT_ID,new SentenceSpout(), 2)// 指定 Spout ,2 指的是使用2个executor来

大数据思维导图（六）--Storm

枫柚master的博客

05-25

1906