2 storm原理

介绍Storm基本原理

1 集群结构

    Storm集群采用主从架构方式，主节点是Nimbus，从节点是Supervisor，有关调度相关的信息存储到ZooKeeper集群中

* Nimbus

    主控节点，用于提交任务、分配集群任务，集群监控等

* zookeeper

    集群中协调、共有数据的存放（如心跳信息、集群的状态和配置信息），Nimbus将分配给Supervisro的任务写进Zookeeper。

* Supervisor

    负责接受Nimbus分配的任务，管理属于自己的Worker进程。

 

    Nimbus和Supervisor之间的所有协调工作都是通过一个Zookeeper集群来完成。并且，nimbus进程和supervisor都是快 速失败（fail-fast)和无状态的。所有的状态要么在Zookeeper里面， 要么在本地磁盘上。这也就意味着你可以用kill -9来杀死nimbus和supervisor进程， 然后再重启它们，它们可以继续工作， 就好像什么都没有发生过似的。这个设计使得storm不可思议的稳定。

* storm VS hadoop

    storm