shangwen_的专栏

计算机相关技术,Java,Python,Hadoop

Spark的Graphx学习笔记--Pregel

1、PregelAPI

图本质上是一种递归的数据结构,其顶点的属性值依赖于其邻接顶点,而其邻接顶点属性又依赖于其邻接顶点,许多重要的图算法通过迭代计算每个顶点的属性直到到达定点条件,这些迭代的图算法被抽象成一系列图并行操作。

 

2、Pregel的计算模型

主要分为三个函数:
1、vertexProgram函数

2、sendMessage函数

3、messageCombiner函数

 

在进行了解之前,先对相关知识进行粗略的了解:

 

知识点1:在第一次迭代的时候,所有的顶点都会接收到initialMsg消息,在次轮迭代的时候,如果顶点没有接收到消息,verteProgram就不会被调用。

 

知识点2:对相关参数的了解(详细看黑体部分)

VD:顶点的数据类型。

ED:边的数据类型

A:Pregel message的类型。

graph:输入的图

initialMsg:在第一次迭代的时候顶点收到的消息。

maxIterations:迭代的次数

vprog:用户定义的顶点程序运行在每一个顶点中,负责接收进来的信息,和计算新的顶点值。在第一次迭代的时候,所有的顶点程序将会被默认的defaultMessage调用,在次轮迭代中,顶点程序只有接收到message才会被调用。

sendMsg:用户提供的函数,应用于边缘顶点在当前迭代中接收message

mergeMsg:用户提供定义的函数,将两个类型为A的message合并为一个类型为A的message。(thisfunction must be commutative and associative and ideally the size of A shouldnot increase)

 

其中用到的Graph类的API

mapReduceTriplets():计算每个节点的相邻的边缘和顶点的值,用户定义的mapFunc函数会在图的每一条边调用,产生0或者多个message发送到这条边两个顶点其中一个当中,reduceFunc函数用来合并map阶段的输出到每个节点。

 

3、实例

 以下通过spark1.0.1上的最短路径来举个例子.

源码的路径为graphx包的lib文件夹内。

以下为计算最短路径的基本的图信息(图为有向图)。




 

主要函数:

 

SPMap:定义一个Map[VertexId,Int]类型的Map函数,别名为SPMap,函数的属性Key为VertexId类型,其实也就是scala中的Long类型,它在图中的别名是VertexId,还有Int类型的路径的长度。

 

makeMap函数:用来初始化图的属性信息。

 

incrementMap函数:主要用于将自身的属性值(即源顶点属性值)中路径的长度加1,然后和目标定点的属性值比较,下面会详细描述。

 

addMaps函数:比较源顶点属性和发送信息过来顶点的属性取最小值。

 

下面是ShortestPaths.scala的run函数:


run函数传入的参数为:已经构造好的图graph和landmarks

landmarks:是我们要求最短路径的顶点的集合。

 

初始化节点属性:

程序的第一步初始化图的节点的属性,为了方便举例,假设我给定的landmarks的集合为{1}。

注意:mapVertices函数是图的基本常用函数之一,它作用于graph中的每一个顶点。


在Graph类中,它是这么定义的:


程序的API上的定义为:通过map函数转换图中每个节点的属性值,VD2代表的是新的数据类型。(嗯,我英文不是很好,就大概这个意思哈)。

 

根据程序的意思,初始化图,将landmarks中的顶点初始化为Map(1-> 0),即自身到自身的距离为0,其余的顶点属性初始化为Map()。

 

接下来定义一个initMessage它的值为Map(),作用是在Pregel第一次运行的时候,所有图中的顶点都会接收到initMessage。

 

在接下来定义了一个vertexProgramProgram函数和sendMessage函数。

在这里,vertexProgram函数调用了addMaps函数,通过程序显而易见的是:两个消息来的时候,取它们当中路径的最小值。其实在下面也就是相当于messageCombiner函数。


SendMessage函数的原理是:

1、通过incrementMap函数把源顶点的距离属性加1得到新的属性值newAttr。

2、新的属性newAttr和原来的属性比较取最小值,如果新的属性是最小的,则通过Iterator发送该信息到目标顶点的函数。该信息的结构为(dstId,newAttr),否则不发送。

 

最后把以上信息传递给Pregel去执行。

 

执行的流程简图如下:

1、初始化图的属性值




2、调用sendMessage函数:

调用sendMessage函数,包含出度的顶点才能发送消息。


首先第一步,假设从顶点1开始:

步骤和上面说的一样,顶点1的距离属性值加1即从(1,0)变为(1,1),和顶点2的属性值比较(具体看代码吧),得出顶点1的属性值最小,满足发送的条件,发送消息Iterator(2,(1,1))。

顶点4、5类似,顶点2、4、5由于他们之间的属性值为Map(),所以不满足发送条件,顶点3没有出度,所以不发送消息。

点1->2:(2,(1,1))

点1->4:(4,(1,1))

点2->3:empty

….

 




3、调用vertexProgram函数:

在看API文档或者代码可以知道,vertexProgram在第一次在初始化的时候,会在所有顶点上运行,之后,只有接收到消息的顶点才会运行vertexProgram,所以接下来容易可以知道,只有顶点2,4,5运行程序,并改变他们自身的属性值。



4、然后类似的重复步骤2、3直到图中的message为0,或者 满足我们给定的迭代次数,

 

嗯,怎么知道会有迭代次数呢?往下看

 

接下来就简略的看看Pregel的代码,看看他是怎么运行的,由于我还在初步的学习阶段,仅供参考,如果有好的理解可以交流交流。

从传入的参数可以知道,我们可以通过maxIterations指定迭代次数,mergeMsg函数也就是刚才所说的addMaps函数。

 


接下来就是主要的实现逻辑:


看了第一句,通过调用graph的mapVertices函数就初始化所有图的属性信息,然后调用mapReduceTriplets函数,它返回一个VertexRDD[A]类型的RDD,mapReduceTriplets也是常用的函数之一。

 

注意:由于mapReduceTriplets里面的代码个人觉得过于复杂,看了很久没看懂,如果有兴趣希望可以交流一下。

 

接下来就是我个人的假设阶段了:

通过注释可以看出

message应该就是接收到消息的顶点,那activeMessages就是顶点的数量了。

接下来通过迭代

通过图的所有顶点和接收到消息的顶点进行内连接,然后运行顶点的vertexProgram函数,即刚才我们所说的只有接受到消息的顶点才会运行vertexProgram函数。得到新的newVerts集合。

图和newVerts进行outerJoinVertices把newVerts的新信息update到图中。

然后继续发送新的消息。

判断activeMessages 和 指定的迭代次数

继续迭代直到activeMessages为零和满足设定的迭代次数值为止。

 

本文的基本介绍就到这里了,如果有兴趣可以大家一起探讨探讨。

阅读更多
文章标签: spark GraphX
个人分类: spark
上一篇sublime text 2 快捷键
下一篇浅谈GraphX
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭