Storm基本体系架构

转载 2016年11月23日 17:39:03

Apache Storm 是由Twitter开源的分布式实时计算系统。Storm可以非常容易并且可靠的处理无限的数据流。对比Hadoop的批处理,Storm是一个实时的、分布式的、具备高容错的计算系统。Storm应用可以使用不同的编程语言来进行开发。


-Storm基本体系结构图-


Nimbus和Supervisor之间的通信依靠Zookeeper来完成,并且Nimbus进程和Supervisor都是快速失败和无状态的。所有的状态要么在Zookeeper里面,要么在本地磁盘上。这就意味着你可以用Kill -9 来杀死 Nimbus和Supervisor进程,然后在重启它们,它们可以继续工作,就像什么也没发生。这个设计使Storm具有非常高的稳定性。

核心概念

在Storm中有一些核心基本概念,包括Topology、Nimbus、Supervisor、Worker、Executor、Task、Spout、Bolt、Tuple、Stream、Stream分组(grouping)等。

Topology:  一个实时计算应用程序逻辑上被封装在Topology对象中,类似Hadoop中的作业。与作业不同的是,Topology会一直运行直到显式地杀死它。

Nimbus:     负责资源分配和任务调度,类似Hadoop中的JobTracker。

Supervisor:负责接受Nimbus分配的任务,启动和停止属于自己管理的Worker进程,类似Hadoop中的TaskTracker。

Worker:      运行具体处理组件逻辑的进程。

Executor:    Storm 0.8之后,Executor为Worker进程中的具体的物理线程,同一个Spout/Bolt的Task可能会共享一个物理线程,一个Executor中只能运行隶属于同一个Spout/Bolt的Task。

Task:          每一个Spout/Bolt具体要做的工作,也是各个节点之间进行分组的单位。

Spout:         在Topology中产生源数据流的组件。通常Spout获取数据源的数据,然后调用nextTuple函数,发射数据供Bolt消费。

Bolt:            在Topology中接受Spout的数据然后执行处理的组件,Bolt可以执行过滤,函数操作,合并,写数据库等任何操作。Bolt在接收到消息后会调用execute函数,用户可在其中执行自己想要的操作。

Tuple:         消息传递的单元。

Stream:       源源不断传递的Tuple组成了Stream。

Stream分组:即消息的分区(partition)方法。Storm中提供若干种实用的分组方式。包括Shuffle、Fields、All、Global、None、Direct、Local or shuffle等。




关于分区方式的内容,下期继续,敬请期待……

Storm的Stream分组方式详解

Storm概念、原理详解及其应用(一)BaseStorm

Storm是基于数据流的实时处理系统,提供了大吞吐量的实时计算能力。通过数据入口获取每条到来的数据,在一条数据到达系统的时候,立即会在内存中进行相应的计算;Storm适合要求实时性较高的数据分析场景。...
  • Kuring_K
  • Kuring_K
  • 2016年07月10日 16:35
  • 11563

Storm架构与运行原理

一、Storm简介     Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。 S...
  • weiyongle1996
  • weiyongle1996
  • 2017年08月13日 20:54
  • 2809

Storm架构

  • u012017783
  • u012017783
  • 2017年12月04日 11:58
  • 41

Storm的体系结构介绍以及Storm入门案例

# Storm的体系结构 # 学习前言 对java有兴趣的朋友可以加上面说的553175249这个群哦,一起学习,共同进步 . # Storm介绍 Storm...
  • qq_26418435
  • qq_26418435
  • 2016年06月07日 14:57
  • 891

storm技术架构讲解之storm对比hadoop

Storm是一个分布式的、高容错的实时计算系统。 Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语,使我们对数据进行批处理变的非常的简...
  • fanyingnedu
  • fanyingnedu
  • 2016年12月26日 16:24
  • 989

flume+kafka+storm+mysql架构设计

转载出处:
  • zhouyou1986
  • zhouyou1986
  • 2014年11月23日 14:31
  • 19976

实时计算storm流程架构总结

hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数...
  • yangbutao
  • yangbutao
  • 2013年01月13日 13:22
  • 12889

浅谈Storm流式处理框架

Hadoop的高吞吐,海量数据处理的能力使得人们可以方便地处理海量数据。但是,Hadoop的缺点也和它的优点同样鲜明——延迟大,响应缓慢,运维复杂。       有需求也就有创造,在Hadoop基本...
  • fanyun_01
  • fanyun_01
  • 2016年03月18日 11:14
  • 25765

实时计算框架之二:Storm之入门实例

预备、开火、瞄准…… 1 总结与提升 自1月份来,可谓是浮浮荡荡,一波三折呀。 先是参加了公司组织的创意马拉松大赛,虽说24小时内完成了作品,但是自己感觉上效果很差,自然成绩也是不高。通过这24小...
  • winking324
  • winking324
  • 2015年03月04日 10:41
  • 3720

实时计算框架之一:Storm之框架搭建

1 迟来的更新 首先,抱歉这么久没有更新博客了。最近一直失眠中,脑子一直很乱,各种事情又非常多,还请大家体谅。就这么莫名发了一天呆,本来想写点代码,打开电脑,却怎么也提不起任何心去思考;想要躺着睡觉,...
  • winking324
  • winking324
  • 2015年01月17日 21:50
  • 4539
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storm基本体系架构
举报原因:
原因补充:

(最多只允许输入30个字)