图划分
文章平均质量分 94
今我来思雨霏霏_JYF
这个作者很懒,什么都没留下…
展开
-
Towards Fast Large-scale Graph Analysis via Two-dimensional Balanced Partitioning(A类会议ICPP 2022)
分布式图系统通常通过将大图划分为多个小图来利用机器集群。因此,图分区通常对分布式图系统的性能有很大的影响。然而,在实际的图系统中,现有的广泛使用的划分方案只能在一个维度上实现很好的平衡,例如顶点数或边数,并且可能会导致大量的切边。为了解决这个问题,我们开发了BPart,它采用两阶段划分方案来实现顶点和边的二维平衡。其核心思想是首先将原始图划分为比簇规模更多的小块,并将这些小块组合起来实现所需的属性,然后有选择地组合小块来构造更大的子图以生成二维平衡划分。原创 2024-04-10 11:39:09 · 685 阅读 · 0 评论 -
IOGP: An Incremental Online Graph Partitioning Algorithm for Distributed Graph Databases(2017)
图在诸如查询社交网络中的关系或管理科学计算中生成的丰富元数据等许多应用和领域中变得越来越重要。许多这些用例需要高性能的分布式图数据库,以便为来自客户端的持续更新提供服务,并同时回答有关当前图的复杂查询。图数据库中的这些操作,也称为在线事务处理(OLTP)操作,对图分区算法有特定的设计和实现要求。在本研究中,我们认为在图划分过程中有必要考虑连通性和顶点度的变化。基于这一思想,我们设计了一种增量在线图划分(IOGP)算法,该算法对顶点度的增量变化做出相应的响应。原创 2024-03-25 14:05:30 · 1045 阅读 · 0 评论 -
LEOPARD: Lightweight Edge-Oriented Partitioning and Replication for Dynamic Graphs(2016)
本文介绍了一种动态图划分算法,专为大型且不断变化的图而设计。我们提出了一个分区框架,可以随着图结构的变化而动态调整。我们还引入了与分区算法紧密结合的复制算法,进一步减少了分区算法的割边数。尽管所提出的方法在重新分配顶点时仅考虑图的局部部分,但广泛的评估表明,所提出的方法随着时间的推移保持了质量划分,这在任何时候都可以与使用最先进的静态图分区算法(如METIS)从头开始执行完整分区相媲美。此外,当使用顶点复制时,边割数可以提高一个数量级。原创 2024-03-24 18:02:44 · 593 阅读 · 0 评论 -
PowerLyra: Differentiated Graph Computation and Partitioning on Skewed Graphs(2019 ACM Trans)
具有倾斜分布的自然图对分布式图的计算和划分提出了独特的挑战。现有的图并行系统通常采用“一刀切”的设计,统一处理所有顶点,这导致明显的负载不平衡和高度顶点的高竞争(例如,Pregel和GraphLab),即使对于低度顶点,也会产生高通信成本和内存消耗(例如,PowerGraph和GraphX)。在本文中,我们认为自然图中的倾斜分布也需要对高度和低度顶点进行区分处理。然后我们介绍PowerLyra,这是一种新的分布式图形处理系统,它融合了现有图形并行系统的优点。原创 2024-03-23 22:11:36 · 891 阅读 · 0 评论 -
A Workload‑Adaptive Streaming Partitioner for Distributed Graph Stores(2021)
流式图划分方法最近引起了人们的关注,因为它们能够利用有限的资源扩展到非常大的图。然而,许多此类方法没有考虑工作负载和图特征。这可能会增加节点间通信和计算负载不平衡,从而降低查询性能。此外,现有的工作负载感知方法不能始终如一地提供良好的性能,因为它们没有考虑图形应用程序中不断出现的动态工作负载。我们通过提出一种名为 WASP 的新颖的工作负载自适应流分区器来解决这些问题,旨在实现低延迟和高吞吐量的在线图查询。由于每个工作负载通常包含频繁的查询模式,因此 WASP。原创 2024-03-17 22:26:53 · 593 阅读 · 0 评论 -
Heterogeneous Environment Aware Streaming Graph Partitioning(IEEE Trans2014)
随着图数据可用性的提高和云计算范式的广泛采用,图分区已经成为一种有效的预处理技术,可以平衡计算工作量和应对大量输入数据。由于对整个图进行分区的成本是昂贵的,因此最近有一些针对流图分区的尝试性工作,这些工作运行速度更快,易于并行化,并且可以增量更新。大多数现有的流分区工作都假设集群内的工作节点本质上是同质的。不幸的是,这个假设并不总是成立。实验表明,这些同构算法在异构环境中运行时性能会显着下降。在本文中,我们提出了一种新颖的自适应流图分区方法来应对异构环境。我们首先考虑每个节点的计算能力(例如CPU频率)和。原创 2024-03-17 16:24:06 · 337 阅读 · 0 评论