近似直径算法的 GraphChi 实现

最新推荐文章于 2024-05-10 09:33:56 发布
置顶 最新推荐文章于 2024-05-10 09:33:56 发布
阅读量2.6k 收藏
点赞数 1
分类专栏： 一一『 图计算 』 文章标签： GraphChi 图计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SunliyMonkey/article/details/47983349
版权
本文介绍了 GraphChi 框架，一种针对大规模图计算的单机解决方案，利用并行滑动窗口技术减少硬盘访问延迟。文章详细讲解了其编程模型，并探讨了近似直径算法，通过 Multiple BFS 方法降低计算开销。在 GraphChi 中，选取特定节点进行 BFS，通过状态标记优化路径检查，但实际实现中存在入边和出边权值同步问题，需要额外处理。
摘要由CSDN通过智能技术生成

1. GraphChi

1.1 简介

　　GraphChi 是由卡耐基梅隆大学设计， 可以在单机上进行高效大规模计算的框架， 区别于将图的信息全部存储在内存当中， GraphChi 利用单机计算机海量的硬盘进行存储， 由于硬盘与内存的访问速度差距很大， 为了弥补使用硬盘存储带来的缺陷， 他们设计出并行滑动窗口技术， 用来减少硬盘的随机读写。

1.2 并行滑动窗口技术

　　将整个图谱划按照点的顺序分成不同的分片，每个分片能够完全在内存中进行
处理。 如下图所示：
这里写图片描述

　　对每个分片中的入边按照源点进行排序， 基于这种原则出边分布在所有的分片
上， 而且占据一段连续的空间。 这样对于数据的更新， 首先在内存中进行计算和
存储， 随后连续的写入其他分片中， 这样能够很好解决随机读写带来的高延迟
问题， 如下图所示。
这里写图片描述

1.3 编程模型

　　GraphChi 延续了 GraphLab 中采用的以点为中心的编程模型， 针对图谱中的节点和边都携带有用户自定义的数据。 在每一次迭代中， 同一个分片中被标记过的点并行调用update 函数进行数据更新： 获取该点入边携带的信息，出边携带的信息， 该点携带的信息，通过用户自定义的计算逻辑，对边和

最低0.47元/天 解锁文章
SunliyMonkey
关注
专栏目录
graphchi 0.1.2源码
09-04
graphchi是卡内基梅隆大学开发的，单机模式进行大规模数据挖掘的工具
GraphChi
chivalry
08-25 1945
GraphChi - disk-based large-scale graph computation 可以在普通单机上运行大数据 https://code.google.com/p/graphchi/
GraphChi介绍
weixin_30256901的博客
12-31 264
GraphChi介绍 最近在研究graphchi，它是一个在单机上处理图的一个很强大的框架。 给大家一些链接可以学习它： 论文：http://select.cs.cmu.edu/publications/paperdir/osdi2012-kyrola-blelloch-guestrin.pdf 例子：http://code.google.com/p/graphchi/wiki/...
GraphChi—让你迅速提升计算机性能
ddjj131313的专栏
10-10 2118
GraphChi是从卡内基 - 梅隆大学的GraphLab项目之一。可以让一台普通PC处理N倍于以往的数据。 特点便是能然硬盘当作内存来使用（包括出传统硬盘或固态硬盘）。 项目Google Code地址 以及完整介绍 GraphChi Java版项目地址
ASM_DP_基于动态规划的近似串匹配算法CPP实现_
10-03
在这个名为"ASM_DP_基于动态规划的近似串匹配算法CPP实现_"的资源中，我们将会探讨如何用C++实现这种算法。 近似串匹配，顾名思义，是指在两个字符串之间可能存在一些差异，但仍然能够找到它们之间的相似性。在实际...
东南大学操作系统实验——实现LRU算法及其近似算法
06-30
这些近似算法在实现上可能比精确的LRU更简单，但可能会牺牲一定的性能。 总之，这个实验旨在让学生通过实践了解并掌握LRU算法及其近似算法，通过分析和比较，提升对虚拟内存管理的理解和应用能力。
基于C++实现LRU算法及其近似算法(操作系统作业)【100012255】
05-18
本项目是基于C++实现LRU算法及其近似算法，旨在让学生深入理解这种算法的原理并进行实践操作。 LRU算法的核心思想是：当内存满时，最近最少使用的页面将被替换出去。具体实现通常采用数据结构如哈希表与双向链表...
三种解决TSP问题的近似算法的实现
09-19
最近邻策略(NearestNeighbor)解决TSP问题的算法实现——是基于贪心思想； 最短链路策略(ShortestLinkedHeuristic)解决TSP问题的算法实现——也是基于贪心算法，但与上述实现细节有所不同； 最短插入启发式策略...
Graphchi论文
11-12
GraphChi:Large-ScaleGraphComputationonJustaPC Current systems for graph computation require a distributed computing cluster to handle very large real-world problems, such as analysis on social networks or the web graph. While distributed computational resources have become more accessible, developing distributed graph algorithms still remains challenging, especially to non-experts. Inthiswork,wepresentGraphChi,adisk-basedsystem for computing efficiently on graphs with billions of edges. By using a well-known method to break large graphs into smallparts,andanovelparallelslidingwindowsmethod, GraphChi is able to execute several advanced data mining, graph mining, and machine learning algorithms on very large graphs, using just a single consumer-level computer. We further extend GraphChi to support graphs thatevolve over time, and demonstrate that, on a single computer, GraphChi can process over one hundred thousand graph updatespersecond,whilesimultaneouslyperformingcomputation. We show, through experiments and theoretical analysis, that GraphChi performs well on both SSDs and rotational hard drives. By repeating experiments reported for existing distributed systems, we show that, with only fraction of the resources, GraphChi can solve the same problems in very reasonable time. Our work makes large-scale graph computation available to anyone with a modern PC.
Graphchi下BFS实现
06-06
Graphchi环境下的BFS算法实现，实现的具体描述请参考本人博客http://blog.csdn.net/codeera/article/details/46385711
数据挖掘算法对GraphChi的图形表示格式的影响及应用
04-06
GraphChi是第一个报告的基于磁盘的图形计算引擎，可以有效地处理数十亿个图形边缘。 与GraphChi相似或什至更好的性能报告与分布式图表相比计算引擎。 但是，发现其子图许多数据挖掘算法的构建需要大量时间由于大量的随机内存访问， 最小化以提高整体系统性能。 在本文中，我们研究了GraphChi随机变量的原因内存访问问题，发现图存储演示文稿格式起着至关重要的作用。 根据在分析中，我们提出了一种自适应的图选择方法表示和稀疏矩阵存储格式对数据挖掘算法的数据使用要求， 可以减少随机存储器的访问和GraphChi的运行时间。 另外，我们实现并行通过重叠处理来对GraphChi进行图形处理将子图加载到内存并更新的过程子图。 初步实验结果表明经过提议的修改后，GraphChi的运行时间最多可减少77％。
GraphChi: Large-Scale Graph Computation on Just a PC
Xia Qiaolin - CSDN
06-01 988
https://www.usenix.org/conference/osdi12/technical-sessions/presentation/kyrola 
Graphchi介绍及BFS实现
codeera的专栏
06-06 6699
随着图规模的逐渐增大，普通PC已无法将整个图一次完全载入到内存中，如何在数据图只能部分载入内存的情况下也能使用数据挖掘算法（如pagerank、wcc等）进行分析？随着Graphchi的出现，这个问题得到了较好解决。Graphchi是由CMU（卡内基梅隆大学）博士Aapo Kyrola开发的一套基于磁盘的图处理系统，该系统声称能有效处理边数目达数十亿规模的数据图。我们都知道计算机中各个层次的数据访问
探索 GraphChi——大规模图计算的桌面解决方案
最新发布
gitblog_00009的博客
05-10 432
探索 GraphChi——大规模图计算的桌面解决方案 项目地址:https://gitcode.com/GraphChi/graphchi-cpp 当提到处理大规模图数据时，通常会想到分布式系统和云计算平台。然而，GraphChi 的出现打破了这一常规，它提供了一种在单台机器上进行大规模图计算的新方法。这个由 CMU 研究团队开发的开源项目，不仅简化了数据分析流程，还为开发者带来了高效且易于使用的...
我对GraphChi的理解
天蝎_smile的专栏
02-26 4756
注：本博文是对Aapo Kyrola的论文：GraphChi : Large-Scale Graph Computation on Just a PC的部分理解，如有不对之处，欢迎及时提出。问题的重要性图作为一种关系的抽象可以应用于很多场合，例如社交网络，网页之间的联系，生物蛋白之间的相互作用。从现实场景抽象出来的图中一般蕴含着许多有用的信息，很有挖掘价值。然而这些图的规模通常都很大导致普通的算法无
大数据算法学习笔记(2)-平面图的直径算法
JiajunBernoulli的博客
04-26 1130
问题 给定平面上的m个顶点以及矩阵D，D[i][j]为第i个点到第j个点的距离；距离是对称的，且满足三角不等式(这样才能保证算法的近似比为2)。 算法步骤 1.任给k<m(只看某一行) 2.选择使得Dkl最大的l(只看某一行) 3.输出Dkl与k，l 算法代码 Java import java.util.Random; public class PlanarGraphDiameter {...
对GraphChi的Parallel Sliding Window的理解与随想
lgnlgn的专栏
10-08 3491
GraphChi设计成可以在个人计算机上高效进行大规模计算的框架，其中在模型不能一次性读入内存的时候，用到了PSW算法，核心是用连续读写来代替的随机读写。在我自己写单机算法时候也考虑过模型如果内存装不下问题，当时正好看到graphchi的PPT，也就想明白是怎么做到的，虽然我没有完整读完PSW的资料，但我发现我前端时间在做feluca设计的数据划分方式其实和PSW本质一样的，所以我感觉自己也算理解
近似算法：Vazirani的经典著作
经典的近似算法有Christofides算法和2-approximation算法，书可能详细解释了这些方法的原理和实现。 3. **设施定位问题**： 在这类问题中，目标是决定在哪里放置设施以满足客户需求，同时最小化成本。可能涵盖的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值