Storm系统架构以及代码结构学习

前言

什么是storm，storm是做什么的，一个简单的描述，你可以理解为是一个“准实时”的Hadoop，Hadoop是专门做的是离线数据处理，而storm则弥补了Hadoop在这方面的不足，他是一个实时数据处理的平台。至于Storm的各种由来，就不一一在这里废话了，之前我写的某篇文章讲述了部分的Storm的代码结构，详情点击这里。

Storm的总体架构

先来了解一下Storm的整体结构，Storm中的几个关键词Topology，Spout,Bolt，Worker，Executor，Task，暂且就这些吧。这些关键词所代表的对象是在2种节点中运行的，一个叫Nimbus节点，还有一个叫Supervisor节点，Storm采用的也是master/slave的架构，所以也会存在单点的问题。Nimbus节点和Supervisor都能快速失败并恢复，而且他们是无状态的，在其间会利用存储在Zookeeper中的元数据。在每个Supervisor节点中，可以启很多的Worker，再在每个Worker中，可以启很多的Executor