Master-TJ的个人博客

        分布式图处理系统（GraphLab、PowerGraph以及同步BSP模型的Pregel）主要有两种执行模式。一种是同步执行模式，还有一种是异步执行模式。同步模式即相邻两步迭代之间存在同步控制，所有任务均完成该步的工作之后，才可以启动下一次迭代计算，发往第k次迭代的消息仅在第k次迭代时对顶点可见。异步模式即相邻两步迭代之间不存在同步控制，各任务独立进行迭代计算，不存在相互等待。在迭...

1. Introduce        在图形引擎（如GraphLab [29]）上的早期工作是基于机器学习的动机，基于观察到许多机器学习问题可以用图形自然而有效地建模，并通过迭代收敛算法解决。        问题：然而，大多数后续的图形引擎工作都采用简单的图计算模型，由PageRank等基本图形基准测试驱动。 由此产生的图形引擎缺乏高效分布式机器学习的灵活性和其他关键功能。 Heterogene...

1.连通图1.1 顶点的连通性在无向图G中，若从顶点vi到顶点vj有路径(当然从vj到vi也一定有路径)，则称vi和vj是连通的。1.2 连通图在无向图G中，若V(G)中任意两个不同的顶点vi和vj都连通(即有路径)，则称G为连通图(Con-nected Graph)。【例】图G2，和G3是连通图。在有向图G中，如果两个顶点vi,vj间（vi>vj）有一条从vi到vj的有向路径，同时还有一条...

    今天要讲的文章是SIGMOD 2010年的一篇文章，Pregel: A System for Large- Scale Graph Processing。本文主要想解决的问题就是：随着如今技术的发展，图数据规模是不断地增长的。现有的图处理系统采用单机处理大图数据，但是单机处理大图数据存在很差的可扩展性，因为单机机器内存是由限制的。然而使用MapReduce处理大图数据，效率又很差。因为每个...

    今天要讲的文章是OSDI 2010年的一篇文章，GraphX:  Graph Processing in a Distributed Dataflow Framework。本文主要想解决的问题就是：先有的专用图系统能够实现广泛的系统优化，但也是有代价的。 图只是较大的分析过程的一部分，通常将非结构化的图数据和表格式数据组合在一起。 因此，分析dataflow被迫组成多个系统，这增加了复杂性...

    今天要讲的文章是EuroSys 2015年的一篇文章，PowerLyra：Differentiated Graph Computation and Partitioning on Skewed Graphs。本文主要想解决的问题就是：现有的图数据，如社交网络、Web网页等都是一种Power-law幂律图的特征。所谓Power-law幂律图就是指在图数据中顶点的度数分配不均匀。有的图顶点的度...

        今天要讲的文章是OSDI 2016年的一篇文章，Fast and Concurrent RDF Queries with RDMA-based Distributed Graph Exploration。RDF全称是资源描述框架，RDF将现实生活中的关系描述成实体与实体之间的关系。这种实体与实体之间的关系可以用图来描述。实体可以用顶点来描述，实体与实体之间的关系可以用边来描述。RD...

        今天要讲的文章是SOSP 2017年的一篇文章，Wukong+S ：Sub-millisecond Stateful Stream Querying over Fast-evolving Linked Data。本文主要解决的问题是：随着流数据和存储数据量的不断增加，及时查询有用的信息十分重要。对于公共数据集合数据流，可能有大量的用户不同的数据流查询请求，因此需要支持高并发的查询。...

摘要        虽然高级别数据并行框架，像MapReduce，简化了大规模数据处理的设计和实现的系统，他们没有自然或有效地支持许多重要数据挖掘和机器学习算法并且导致学习系统效率低下。为了帮助填补这一重要空白，我们介绍了GraphLab框架，它自然表达异步的， 动态的，并行图计算，同时在共享内存设置上确保数据一致性和实现高度的并行性能。在本文中，我们扩展GraphLab框架到更具挑战性的分布式环...

        今天要讲的文章是PVLDB 2012年的一篇文章，Distributed GraphLab: A Framework for Machine Learning and Data Mining in the Cloud。本文主要解决的问题是：指数增长的机器学习和数据挖掘(MLDM，即Machine Learning and Data Mining)问题和日益成熟的MLDM技术，越来越...

        今天要讲的文章是OSDI 2012年的一篇文章，PowerLyra：Distributed Graph-Parallel Computation on Natural Graphs。本文主要想解决的问题就是：现有的图数据，如社交网络、Web网页等都是一种Power-law幂律图的特征。所谓Power-law幂律图就是指在图数据中顶点的度数分配不均匀。有的图顶点的度数很高，有的顶点度...

     今天要讲的文章PPOPP 2015年的一篇文章，SYNC or ASYNC Time to Fuse for Distributed Graph-Parallel Computation。本文主要想解决的问题就是：作者仔细分析了同步模式和异步模式的优势和劣势。同步模式批量发送消息,大大提高网络利用率。由于消息被批量发送，同步模式更加适合于消息通信量大的算法（IO敏感型），并且每个顶点上的...

        今天要讲的文章NSDI 2017年的一篇文章，TUX2: Distributed Graph Computation for Machine Learning。本文主要想解决的问题就是：在图形引擎（如GraphLab [29]）上的早期工作是基于机器学习的动机，基于观察到许多机器学习问题可以用图形自然而有效地建模，并通过迭代收敛算法解决。 然而，大多数后续的图形引擎工作都采用简单的...

1.BackGround        现有的图数据可以分为以下三个方面。分别是社交媒体图，广告图和Web图。社交媒体图主要包括微博、Twitter、FaceBook。人与人之间的关系也是一种图结构，微博点赞也是一种图结构。然后就是广告图以及Web图结构。        随着时间的推移，图结构数据成几何的指数增长，目前的图结构已经达到TB级别的数据量。这么大的数据量，如何对这么巨大的图数据进行高效...