Storm概念解析

Storm 是什么

• Storm 是一个分布式的，可靠的，容错的流式计算框架

• Storm 可以实时可靠的处理流数据，在实时分析/性能监测等需要高时效性的领域广泛采用

• Storm把集群的状态存在Zookeeper或者本地磁盘，所以后台进程都是无状态的（不需要保存自己的状态，都在zookeeper上），可以在不影响系统健康运行的同时失败或重启

• Storm可应用于–数据流处理、持续计算(持续地向客户端发送数据，它们可以实时的更新以及展现数据，比如网站指标)、分布式远程过程调用(轻松地并行化CPU密集型操作)

Storm 和 Hadoop 对比

Storm	Hadoop
实时的流处理框架	批量处理
基于ZooKeeper的 master/slave 结构；master被称为nimbus，slaves被称为supervisors	master-slave结构，不依赖于ZooKeeper；master节点是任务调度者，slaves节点是任务执行者
Storm 集群能够每秒处理成千上万的信息	hdfs利用MapReduce进行大批量数据的离线计算
Storm 一旦运算开始将不会停止，除非杀死进程	MapReduce按指定顺序完成作业
如果nimbus/supeervisors集群中某一节点挂掉，重新启动后任务将会从上次断开处继续执行	如果作业调度者死亡，所有作业将消失

Storm 中的一些基本概念

组件	描述
Tuple	tuple 是Storm中的主要数据结构(数据的基本单位)，是一个有序元素的集合。tuple 支持所有的数据类型
Stream	一组无序的 tuple
Spout	数据源头。负责接收外部数据封装为数据源以供集群中的Bolt使用
Bolt	逻辑处理单元，是计算的核心，负责计算从Spout源头传过来的数据，并将结果进行输出
Topology	将Spout和Bolt关联在一起的拓扑结构，使其具备实时处理能力，相当于MapReduce
Task	负责执行Spout和Bolt的引擎
Executor	执行线程，执行task任务
Worker	工作进程，管理分配作业线程
Stream grouping	Storm的流分组。控制tuple的流向策略(从Spout流向Bolt，或者从Bolt流向其他Bolt，都可以选择不同的分组策略进行控制)

下图是Storm的处理流程：

Storm 集群中的进程

进程	描述
nimbus	管理节点进程
supervisor	从属节点进程
worker	工作进程
core	ui进程
logviewer	日志进程

下图是各进程的关系：

参考

• http://storm.apache.org/releases/1.1.2/Concepts.html
• https://www.tutorialspoint.com/apache_storm/index.htm