超级会员免费看
本文介绍了一种2021年提出的BAN-Storm机制，它是一种针对流作业的带宽感知调度策略。该机制旨在优化流处理系统的资源利用率，通过智能调度算法确保在网络带宽受限的情况下，流作业的性能和效率。文章详细阐述了两种算法实现，并进行了实验验证，展示了在不同硬件配置下的效果。
知识：
storm调度器机制：worker数量在拓扑结构执行时保持不变（静态）。
数据流方面（数据传输速率）会有很大变化，但例如默认调度器使用静态配置没有考虑到，会导致系统的吞吐量。
该情况下，storm需要暂停正在执行的拓扑结构，重新编译改变配置重新部署，这就造成昂贵的延迟开销。
问题：
目前流处理系统没有考虑通信模式、计算资源的异质性，这会导致将高通信的任务映射到不同且成本高的远程节点上，增加通信成本和延迟。
本文方法：
提出一个考虑任务之间的通信（历史通信）、和其他重要调度方面（异质性：机器的计算能力）的调度器。
该调度器的核心目标是使用一种具有资源感知能力的映射机制来获得性能（即更高的吞吐量和更少的延迟）。
映射机制分为两个阶段
1.逻辑分组：任务分组，使得组间的通信代价降低，拓扑结构的流量被监测，如算法1
订阅专栏 解锁全文
扫一扫
444
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
