Pregel:大规模图处理系统(待更新ing)

本文深入解析Pregel系统,基于BSP模型,介绍其运算模式、超级步骤、消息传递机制及Combiners和Aggregators的使用,阐述其在大规模图处理中的作用。
摘要由CSDN通过智能技术生成

这篇文章是对Pregel论文思想的理解的第一部分

因为Giraph是对Pregel论文中所提到的思想的实现,即前面提到的Giraph的开发基于Pregel中的原理,所以首先要把Pregel中讲了什么搞清楚


灵感

对pregel的灵感来自于BSP模型,

  • Pregel由一系列的迭代(iterations)构成,每一次迭代我们称其为superstep
  • 每一次superstep(s)中,计算框架都会invoke用户对每个顶点定义的函数
  • 这个函数可以将 上一个superstep发来的 message读入, 进行运算,并且在下一个superstep中发送给另外的顶点,并且在此过程中修改本节点的状态和出边的状态
  • 这里值得注意的是,message通常是由顶点的出边发送

运算模式

pregel的运算模式中需要定义的如下

在Pregel 计算模式中,输入是一个有向图,该有向图的每一个顶点都有一个相应的由String 描述的vertex identifier。

每一条有向边都和其源顶点关联,并且也拥有一些用户定义的属性和值,并同时还记录了其目的顶点的ID。


典型的Pregel 计算过程如下

读取输入,初始化该图,当图被初始化好后,运行一系列的supersteps,每一次superstep 都在全局的角度上独立运行,直到整个计算结束,输出结果。


  • 在每一次的superstep 中,顶点的计算都是并行的,每一次执行用户定义的同一个函数。
  • 每个顶点可以修改其自身的
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值