Storm基础

一 介绍

1 分布式、实时大数据处理系统，是流数据计算框架，高速攫取数据。

2 无状态的，通过Zookeeper管理分布式集群的状态。

3 可以执行各种数据，实时并行计算。

4 Hadoop的实时计算欠缺，storm没有持久化。

二 Hadoop和Storm比较

storm：实时计算，无状态，基于zk的主从模式，master（nimbus）+slaves（supervisors）。流处理每秒数万消息。topology运行直到user停掉或程序故障。分布式和容错。nimbus或supervisors宕机，重启后从stop地方继续，没影响。

hadoop:批处理，有状态，master（appmaster）+yarn子进程。hadoop的mr框架计算海量数据数分钟或数小时。mr按序执行，最终会执行结束。分布式和容错。如果mr停止，所有data丢失。

三 storm应用公司

Twitter、Navisite、Wego

四  Apache Storm优势

1 开源、友好、健壮，适用于大小公司。

2 容错、灵活、可靠、支持跨语言。

3 支持实时流计算。

4 快、强大的数据处理能力。

5 低延迟。

6 操作智能化。

7 确保数据在集群故障或者数据丢失时，至少处理一次。

五 Apache Storm架构图

六 组件

1 Tuple：storm中的主要数据结构，有序元素列表。默认tuple支持所有数据类型。通常以逗号分隔进行建模并传递给storm集群。

2 Stream：无序的元组序列。

3 Spout：Stream的源头，从原生数据源接受数据。通常是Twitter api或者是kafka队列。ISpout是核心接口。

4 Bolts：逻辑处理单元。spout的输出进入bolt。Bolt处理并产生新Tuple。bolt可以执行聚合、连接、过滤以及和数据源和数据库。IBolt是Storm的核心接口。

七 topology

Spout和Bolt连接在一起就形成了topology。可以理解为有向图，顶点用来计算，边是数据流动。起始于spout，输出到一个或多个bolt，bolt是最小的数据处理逻辑，bolt的输出也可以是其他bolt的输入。

topology保持始终运行的状态。storm在给定的时间可以运行任意数量的topology。

八 Task

Task是运行着的spout或者bolt（运行时概念）。spout或bolt在运行时都可以有多个实例。运行在单独线程中。

九 Worker

工作进程，storm在所有的工作进程尽可能平均分配task。worker的角色在新task到达时进行监听、启动和停止。

十 Executor

执行线程。

十一 Nimbus

master，负责topology运行，分析topology，并收集task运行情况。分发task给可用的supervisor。

十二 supervisor

有着一个或多个工作进程，代理工作进程的task。工作进程会产生多个执行线程来运行task。使用内部消息分发系统进行nimbus和supervisors的通信。

十三 参考

http://edu.51cto.com/center/course/lesson/index?id=141544