本文分析了大数据流式计算的挑战，主要关注在线环境下的资源调度和节点依赖下的容错策略。针对Storm系统，提出了需要弹性、自适应的在线调度策略，以应对数据流和资源的动态变化，同时保持系统稳定性。在容错策略方面，建议采用轻量级、快速的解决方案，以适应大数据流式计算的实时性和一次性处理数据的特点。未来工作将聚焦于系统架构优化和上层应用的动态适应性。
大数据流式计算系统存在诸多挑战，如资源调度、系统容错、动态时间窗口、高效索引策略等诸多方面。本文将从大数据流式计算系统架构的角度，针对当前大数据流式计算环境中存在的两个方面的典型问题进行系统化的分析，即在线环境下的资源调度问题和节点依赖环境下的容错策略问题，并原则性地分别给出了两类问题的解决策略。
1. 在线环境下的资源调度
资源调度是分布式系统中资源管理的关键与核心，也是NP难问题，制约着整个系统的高效运行。在大数据流式计算环境中，在线环境中的资源调度又更加困难，任何一个资源或要素的调整，都会对运行着的系统产生实时影响，也会对整个系统的稳定性带来一定程度上的波动。
Storm系统作为业界最具影响力的大数据流式计算系统，目前其所选用的资源调度策略为轮询方式，只是简单地将有向任务图中各个节点按照一定的拓扑序列放置到各个物理机器上去，这个调度策略没有考虑物理机器的性能以及物理机器间的拓扑结构，没有考虑有向任务图中各个节点的计算压力和节点间的通信压力。
在在线调整过程中，这个调度策略没有考虑当前各个节点的资源分配情况，也就是说在实现对新的环境优化和适应的过程中，没有考虑尽可能地减少系统中节点的变动，提升系统的稳定性。这些因素的缺失，对于Storm系统的性能必然带来一定程度上的损伤。
在资源调度方面，针对大数据流式计算环境中，应用均是通过有向任务图进行描述的客观事实，需要构建一个弹性、自适应的在线调度策略，满足大数据流式应用一旦开启将永远运行下去的在线场景下的资源调度需要，即一方面要有效地适应数据流、资源等各方面的动态变化，另一方面也要保持系统的稳定性，避免因调整导致的系统大幅度波动，影响系统的稳定性。
具体包括以下内容：在有向任务图节点计算量和节点通信量
最低0.47元/天 解锁文章
399
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
