storm 流式计算 mysql_Storm 分布式流式计算框架

Storm是什么?

分布式流式计算

Storm 并发机制

Worker – 进程

一个Topology拓扑会包含一个或多个Worker(每个Worker进程只能从属于一个特定的Topology)

这些Worker进程会并行跑在集群中不同的服务器上，即一个Topology拓扑其实是由并行运行在Storm集群中多台服务器上的进程所组成

Executor – 线程

Executor是由Worker进程中生成的一个线程 每个Worker进程中会运行拓扑当中的一个或多个Executor线程

一个Executor线程中可以执行一个或多个Task任务(默认每个Executor只执行一个Task任务)，

但是这些Task任务都是对应着同一个组件(Spout、Bolt)。

Task 实际执行数据处理的最小单元

每个task即为一个Spout或者一个Bolt Task数量在整个Topology生命周期中保持不变，

Executor数量可以变化或手动调整 (默认情况下，Task数量和Executor是相同的，即每个Executor线程中默认运行一个Task任务)