风吹海洋浪
越努力越头秃
展开
-
【Latex格式】双栏双图左右并排有小标题、上下并列有小标题
latex格式整理总结原创 2022-07-11 11:47:00 · 2395 阅读 · 0 评论 -
【并行度】2021-AuTraScale: An Automated and Transfer Learning Solution for Streaming System Auto-Scaling
运算符性能模型:运算符的实际处理性能通常被定义为处理的数据元组数量 与 处理时间的比率然而,观察到的运算符的数据处理时间由于阻塞,包含有大量的等待时间,因此不能准确的反应运算符的实际处理能力。因此参考DS2中真实速率的概念( V. Kalavri, J. Liagouris, M. Hoffmann, D. Dimitrova, M. Forshaw, andT. Roscoe, “Three steps is all you need: fast, accurate, automatic s原创 2021-11-04 11:37:28 · 262 阅读 · 2 评论 -
【综述】2020-Resource Management and Scheduling in Distributed Stream Processing Systems
在本文中关注其中的两个方面:1.operator parallelisation—configuring the degree of parallelism for streaming logic, and 2.task scheduling—deciding the placement of streaming tasks on distributed resources.运算符的并行化:配置流逻辑的并行度task任务的调度:决定流任务在分布式资源上的位置...原创 2021-08-31 09:58:05 · 216 阅读 · 0 评论 -
【并行度】2017Xie-2017-Adaptive-topology-decomposition-for Storm
问题:现有的分解storm拓扑结构的方法不能确保最优的性能。拓扑结构需要手动预设拓扑结构所需的worker数量。实验验证了适当的worker数量设置会影响集群的性能。问题-动机:当一个拓扑结构提交到storm集群中,根据人工预先设定的应分解的worker数量,或者手动进行重新平衡(但如果不分析提交拓扑结构或者监测集群的状态,很难找到合适的worker参数。)worker设置不当会影响到集群的性能,所以要找到一个更好的方式来分解拓扑结构。动机实验:为了发现合适的参数,做实验发现可能影响集群性能原创 2021-08-26 10:46:21 · 165 阅读 · 1 评论 -
【并行度+状态迁移】2016-Elastic stateful stream processing in storm
问题:由于数据源产生数据的速度不可预测,所以流处理系统对动态性要求很高、需要适应能力。本文方法采用两种机制来扩展运行时的动态适应性: automatic elasticity and stateful migration1.自动弹性:在框架层面:实现了扩展决策,即它允许根据扩展策略自动调整每个应用的运算符的并行实例数量,本文提出一个简单的基于阈值的策略(根据传入的工作负载弹性地改变每个运算符的并行实例数量)。由于框架层面实现了弹性,storm可以与底层的扩展系统耦合,通过根据需要获取和释放计算原创 2021-08-19 20:57:55 · 188 阅读 · 0 评论 -
【调度】2021-BAN-Storm: a Bandwidth-Aware Scheduling Mechanism for Stream Jobs
知识:storm调度器机制:worker数量在拓扑结构执行时保持不变(静态)。数据流方面(数据传输速率)会有很大变化,但例如默认调度器使用静态配置没有考虑到,会导致系统的吞吐量。该情况下,storm需要暂停正在执行的拓扑结构,重新编译改变配置重新部署,这就造成昂贵的延迟开销。问题:目前流处理系统没有考虑通信模式、计算资源的异质性,这会导致将高通信的任务映射到不同且成本高的远程节点上,增加通信成本和延迟。本文方法:提出一个考虑任务之间的通信(历史通信)、和其他重要调度方面(异质性:机器的计原创 2021-08-19 11:00:50 · 233 阅读 · 0 评论 -
【调度】【公开源码】2013-Adaptive Online Scheduling in Storm
Storm模型: A Storm application is modeled as a topology, i.e. a graph where nodes are operators and edges represent data flows among such operators. storm的应用建模为一个拓扑结构,DAG有向无环图,其中图中的节点是运算符,边代表着运算符之间的数据流 A Storm cluster can run topologies (Storm’s jargon原创 2021-08-08 17:24:46 · 332 阅读 · 1 评论 -
【调度】2020-A3‑Storm: topology‑, trafc‑, and resource‑aware storm scheduler for heterogeneous clusters
问题:目前,流处理引擎(SPE)在调度时忽略了拓扑结构、executor之间的关系,频繁通信的task在调度时必须考虑其他方面的问题:资源供应、task的计算需求、通信worker node节点之间的物理距离等等。频繁通信的task可能会在不同的计算节点上,从而增加了网络延迟。默认调度器问题:当storm集群是一个由两个worker node节点充当supervisor调度下图线性拓扑时:spout a分配到supervisor 1bolt a分配到supervisor 2bolt b分原创 2021-08-05 11:03:36 · 223 阅读 · 0 评论 -
【调度】2020-TOSS: A Topology-based Scheduler for Storm Clusters
在DSPS中(例如storm)调度问题上有性能瓶颈:如何在集群中的所有可用节点中部署storm应用拓扑的组件。TOSS基于结构的调度器:1.节点间的流量2.考虑基于拓扑结构形式的调度器3.减少运行时重新调度的开销目的:通过缩短总体通信成本来减少进程间的平均延迟,同时平衡多个集群节点的负载。原理:TOSS在静态拓扑结构上识别具有大量通信的边,将这种通信密集型的边分到一组slot中(由α自我调整参数管理的slot)。将一组executors分配到工作负载最小的节点上。优点:1.通过分析拓扑结原创 2021-08-02 21:04:56 · 280 阅读 · 5 评论