Storm
简介
- Storm是实时的,具备高容错的,分布式流处理计算框架
- 特点:storm常驻内存,在内存中处理
与MR对比
- MR分钟级别响应,storm毫秒级
- MR间歇性启停,storm一直运行
- MR数据走磁盘,storm数据走内存,而且使用零拷贝技术
架构
Storm
- Nimbus
- 负责客户端请求的提交,通过zookeeper与supervisor通信
- Supervisor
- 负责worker的启动
- Worker
- 负责具体的计算工作
- topology
- 客户端提交的任务的拓扑模型
YARN/MR
- ResourceManager
- Nodemanager
- AppMaster
- Job