Apache Storm工作流程

转载 2017年12月06日 00:00:00

640?wx_fmt=png&wxfrom=5&wx_lazy=1

一个工作的Storm集群应该有一个Nimbus和一个或多个supervisors。另一个重要的节点是Apache ZooKeeper,它将用于nimbus和supervisors之间的协调。

现在让我们仔细看看Apache Storm的工作流程 −

  • 最初,nimbus将等待“Storm拓扑”提交给它。

  • 一旦提交拓扑,它将处理拓扑并收集要执行的所有任务和任务将被执行的顺序。

  • 然后,nimbus将任务均匀分配给所有可用的supervisors。

  • 在特定的时间间隔,所有supervisor将向心跳发送心跳以通知它们仍然运行着。

  • 当supervisor终止并且不向心跳发送心跳时,则nimbus将任务分配给另一个supervisor。

  • 当nimbus本身终止时,supervisor将在没有任何问题的情况下对已经分配的任务进行工作。

  • 一旦所有的任务都完成后,supervisor将等待新的任务进去。

  • 同时,终止nimbus将由服务监控工具自动重新启动。

  • 重新启动的网络将从停止的地方继续。同样,终止supervisor也可以自动重新启动。由于网络管理程序和supervisor都可以自动重新启动,并且两者将像以前一样继续,因此Storm保证至少处理所有任务一次。

  • 一旦处理了所有拓扑,则网络管理器等待新的拓扑到达,并且类似地,管理器等待新的任务。

默认情况下,Storm集群中有两种模式:

  • 本地模式 -此模式用于开发,测试和调试,因为它是查看所有拓扑组件协同工作的最简单方法。在这种模式下,我们可以调整参数,使我们能够看到我们的拓扑如何在不同的Storm配置环境中运行。在本地模式下,storm拓扑在本地机器上在单个JVM中运行。

  • 生产模式 -在这种模式下,我们将拓扑提交到工作Storm集群,该集群由许多进程组成,通常运行在不同的机器上。如在storm的工作流中所讨论的,工作集群将无限地运行,直到它被关闭。


  • 0?wx_fmt=gif

storm四之storm的工作流程

一个正常运行的Storm集群应该有一个nimbus和一个或多个supervisor。 还有另一个重要的节点是Apache zookeeper,用于nimbus和supervisor之间的协调。 现...
  • licw_0909
  • licw_0909
  • 2017年01月15日 21:30
  • 577

Apache Storm内部原理分析

转载文章请注明原作者信息。
  • jiweiwong
  • jiweiwong
  • 2016年03月09日 20:54
  • 1496

Storm运行流程的理解

Hadoop 进入21世纪,随着社会的快速发展,人类活动产生的数据急速膨胀,同时大量累积的数据最为一项资源受到普遍关注,对大量数据的处理与分析显得很重要,而Hadoop是大数据处理领域的佼佼者。 ...
  • xuxiaolei_88
  • xuxiaolei_88
  • 2017年06月14日 08:29
  • 310

Apache Storm 编程入门基础(五):简单案例一

解决了程序框架的问题, 我们就在 Eclipse 中开始写代码了。没有安装 Maven 的要参考前面的说明。    一、构建         我用的版本是这个,最新的版本           ...
  • caridle
  • caridle
  • 2017年08月02日 13:11
  • 695

Apache Storm 环境安装笔记

研究了一下Apache Storm的环境安装,安装过程超乎想象的简单。
  • sharetop
  • sharetop
  • 2015年11月10日 16:59
  • 1597

storm 开发系列一 第一个程序

本文将在本地开发环境创建一个storm程序,力求简单。首先用mvn创建一个简单的工程hello_stormmvn archetype:generate -DgroupId=org.csfreebird...
  • sheismylife
  • sheismylife
  • 2015年10月13日 22:38
  • 4736

Apache Storm 官方文档中文版

Apache Storm 官方文档中文版 原文链接    译者:魏勇 About 本项目是 Apache Storm 官方文档的中文翻译版,致力于为有实时流计算项目需求和对 Apache Sto...
  • wanglha
  • wanglha
  • 2016年05月12日 10:59
  • 1142

【Apache Storm系列之一】Storm介绍

接触大数据有一段时间了,大部分使用hadoop比较多,但是hadoop主要的使用场景在于离线系统。 现实生活中,一些场景是不允许你有那么长时间的延迟时间,都需要实时数据展示的,显而易见,hadoop是...
  • WeiJonathan
  • WeiJonathan
  • 2013年12月16日 22:00
  • 5397

apache storm简介与原理

简介 ----------------------------    Storm是一个分布式的、高容错的实时计算系统。    Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Had...
  • xu__cg
  • xu__cg
  • 2017年03月20日 11:28
  • 361

Apache Storm 编程入门基础(四):Storm 运行和编程架构

编程想要入门,必须知道入门基础所说的运行原理和基本概念,这里就从Storm 例子运行和编程架构说起。 一、Storm 运行        我刚开始学习 storm 也是带着疑问,Storm 程序怎...
  • caridle
  • caridle
  • 2017年08月02日 11:14
  • 194
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Apache Storm工作流程
举报原因:
原因补充:

(最多只允许输入30个字)