大数据学习笔记之strom----实时流处理引擎

概述

Apache Strom是开源分布式实时计算系统，为Apache的顶级项目，同Hadoop一样Strom也可以处理大批量数据，然而Strom在保证高可靠的前提下还可以让处理进行得更加实时，也就是说，所有得信息都会被处理。Strom同样还具备容错和分布式计算这些特性，这就让Strom可以扩展到不同得机器上进行大批量得数据处理。

Strom可水平扩展，支持容错，保证所有数据被处理，易于安装维护，可以使用各种程序设计语言开发，具备高性能，单节点每秒可以处理上百万记录。

Strom体系结构

Strom是典型的Master-Slave架构，Strom集群中有两种节点，一种是控制节点（Nimbus节点），另一种是工作节点（supervisor节点）。Topology任务提交给Nimbus节点，Nimbus分配给其他Supervisors节点进行处理。Nimbus节点首先将提交的Topology进行分片，分成一个个的Task，并将Task和Supervisors相关的信息提交到Zookeeper集群上，Supervisor会去Zookeeper集群傻瓜认领自己的Task，通知自己的worker进程进行Task的处理。