【并行度+状态迁移】2016-Elastic stateful stream processing in storm

问题:

由于数据源产生数据的速度不可预测,所以流处理系统对动态性要求很高、需要适应能力。

本文方法

采用两种机制来扩展运行时的动态适应性: automatic elasticity and stateful migration
1.自动弹性:
it allows to automatically adapt the number of parallel instances for each application operator, according to a scaling policy.
在框架层面:实现了扩展决策,即它允许根据扩展策略自动调整每个应用的运算符的并行实例数量,本文提出一个简单的基于阈值的策略(根据传入的工作负载弹性地改变每个运算符的并行实例数量)。
由于**框架层面**实现了弹性,storm可以与底层的扩展系统耦合,底层可以通过根据需要获取和释放计算节点来实现基础设施的弹性。
2.状态迁移:运
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风吹海洋浪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值