Storm核心组件

Storm是一个分布式实时计算系统。2011年7月Twitter收购了BackType公司，同年8月4日Twitter将Storm正式开源。

Storm的核心技术与基本组成

Storm框架的核心由7个部分组成：

topology 是storm中运行的一个实时应用程序的名称（拓扑），因为各个组件间的消息流动而形成逻辑上的拓扑结构。

stream 表示数据的流向，流式Storm的核心抽象。一个流是一个无界Tuple序列，Tuple可以包含整性、长整型、短整型、字节、字符、双精度数、浮点数、布尔值和字节数组。用户可以通过定义序列化器，在本机Tuple使用自定义类型；

spout 在一个topology中获取源数据流的组件；通常情况下spout会从外部数据源读取数据，然后转换为topology内部的源数据；

bolt 接收数据，然后执行处理的组件，用户可以其中执行自己想要的操作（Bolt可以完成过滤、业务处理、连接运算、连接访问数据库等业务）；

stream grouping（流分组） 流分组是拓扑定义的一部分，为每个Bolt指定应该接收哪个流作为输入。在bolt的任务中定义流应该如何分区，Storm有7个内置的流分组接口（随机分组（Shuffle grouping）、字段分组（Fields grouping）、全部分组（All grouping）、全局分组（Global grouping）、无分组（None grouping）、直接分组（Direct grouping）、本地或随机分组（Local or shuffle grouping））

Worker（工作进程）是Spout/Bolt中运行具体处理逻辑的进程。Topology跨一个或多个Worker节点的进程执行，每个Worker节点的进程是一个物理的JVM和Topology执行所有任务的子集。

Task（任务） Worker中每一个Spout/Bolt的线程称为一个任务。每个spout或bolt在集群执行许多任务，每个任务对应一个线程的执行，流分组定义如何从一个任务集到另一个任务集发送Tuple。可通过TopologyBuilder类的setSoupt()和setBolt()方法来设置每个spout或bolt的并行度（parallelism）。

Executor（执行器）在Storm 0.8以后，Task不再与物理线程对应，同一个Spout/Bolt的Task可能会共享一个物理线程，该线程称为Executor（执行器）。

 

Storm集群中有两类节点：主控节点（Master Node）和工作节点（Worker Node）。其中，主控节点只有一个，而工作节点可以有多个（领导只有一个，干活的有多个^_^）。

主控节点运行的一个称为Nimbus的守护进程，负责在集群中分发代码，对节点分配任务，并监控主机故障。

每个工作节点运行一个称为Supervisor的守护进程，Supervisor监听其主机上已经分配的主机的作业，启动和停止Nimbus已经分配的工作进程。