在DSPS中(例如storm)调度问题上有性能瓶颈:如何在集群中的所有可用节点中部署storm应用拓扑的组件。
TOSS基于结构的调度器:
1.节点间的流量
2.考虑基于拓扑结构形式的调度器
3.减少运行时重新调度的开销
目的:通过缩短总体通信成本来减少进程间的平均延迟,同时平衡多个集群节点的负载。
原理:
TOSS在静态拓扑结构上识别具有大量通信的边,将这种通信密集型的边分到一组slot中
(由α自我调整参数管理的slot)。
将一组executors分配到工作负载最小的节点上。
优点:
1.通过分析拓扑结构绕过昂贵成本的重新调度
2.采用自我调整参数适应工作负载环境的机制,而不是手动设置系统参数
storm整体吞吐量很大程度上取决于事件处理延迟。对于计算延迟的原因:
1.一组executors之间的通信可能会带来大量的网络流量
这些executors可以在不同的worker进程和工作节点worker node上分配和执行。ex