JStorm作为Storm的优化版本，旨在解决Storm的稳定性问题，如雪崩、Nimbus HA、ZK访问压力等问题。它采用了netty + disruptor的RPC机制，确保发送和接收速度匹配，避免雪崩。此外，JStorm改进了任务分配策略，减少了对ZK的依赖，并通过优化如ZeroMq、Netty等实现性能提升，提供更好的CPU、内存、磁盘和网络资源管理。
Jstorm
为什么启动Jstorm项目
- 现有storm调度太简单粗暴，无法定制化
- 雪崩问题一直没有解决
- 监控太简单
- 对ZK 访问频繁
RPC OOM（OOM - Out of Memory，内存溢出 ——俗称雪崩问题）一直没有解决
原生Storm RPC：Zeromq 使用堆外内存，导致OS 内存不够，Netty 导致OOM；
JStorm底层RPC 采用netty + disruptor，保证发送速度和接受速度是匹配的，彻底解决雪崩问题
- 更稳定（1） – nimbus HA
Nimbus 实现HA:当一台nimbus挂了，自动热切到备份nimbus
更稳定（2）彻底解决Storm雪崩问题
- 底层RPC 采用netty + disruptor
- 保证发送速度和接受速度是匹配的
更稳定（3）– 数据流稳定
- 现有Storm
添加supervisor时， 会触发任务rebalance
Supervisor shutdown时， 触发任务rebalance
提交新任务时，当worker数不够时，触发其他任务做rebalance
- 现有Storm
上叙问题不会在Jstorm中发生
- 更稳定（4） –
最低0.47元/天 解锁文章
扫一扫
256
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
