本文详细介绍了Storm实时流处理框架，包括其与MapReduce的对比、架构、编程模型、计算模型、分组策略、并发机制、通信机制、容错与ack机制以及DRPC。Storm具有高容错性和毫秒级响应，适用于需要实时处理的场景。
Storm
简介
- Storm是实时的，具备高容错的，分布式流处理计算框架
- 特点：storm常驻内存，在内存中处理
与MR对比
- MR分钟级别响应，storm毫秒级
- MR间歇性启停，storm一直运行
- MR数据走磁盘，storm数据走内存，而且使用零拷贝技术
架构
Storm
- Nimbus
- 负责客户端请求的提交，通过zookeeper与supervisor通信
- Supervisor
- 负责worker的启动
- Worker
- 负责具体的计算工作
- topology
- 客户端提交的任务的拓扑模型
YARN/MR
- ResourceManager
- Nodemanager
- AppMaster
- Job
最低0.47元/天 解锁文章
942
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
