storm基本架构

一、基本架构

nimbus： storm的核心，负责分配任务和监控工作状态

supervisor： 监听nimbus分配的任务，负责启动/关闭worker

worker： 一个worker是一个独立的进程，负责执行一个topology

executor： worker的执行线程，一个worker中可以有多个executor。

task： storm中最小的处理单元，是一个具体的spout或者bolt

zookeeper： nimbus和supervisor之间的通信通过zookerper完成

二、storm组件

三、开发流程

1.编写spout获取数据，将数据（tuple）发送到下游的bolt

2.编写bolt，根据上游的spout或者bolt输出的字段获取到数据，进行处理，然后发送到下游的bolt

3.最后一个bolt处理完后，进行持久化

4.配置storm，构建topology

5.打包上传到服务器，提交到集群运行

---

参考资料：

《storm技术内幕与大数据实战》