GraphX中Pregel单源点最短路径

GraphX中的单源点最短路径例子,使用的是类Pregel的方式。

核心部分是三个函数:

1.节点处理消息的函数  vprog: (VertexId, VD, A) => VD (节点id,节点属性,消息) => 节点属性

2.节点发送消息的函数 sendMsg: EdgeTriplet[VD, ED] => Iterator[(VertexId,A)]   (边元组) => Iterator[(目标节点id,消息)]

3.消息合并函数 mergeMsg: (A, A) => A)    (消息,消息) => 消息

package myclass.GraphX

import org.apache.spark.graphx._
import org.apache.spark.SparkContext

// Import random graph generation library

import org.apache.spark.graphx.util.GraphGenerators

/**
 * Created by jack on 3/4/14.
 */
object Pregel {
	def main(args: Array[String]) {
		val sc = new SparkContext("local", "pregel test", System.getenv("SPARK_HOME"), SparkContext.jarOfClass(this.getClass))
		// A graph with edge attributes containing distances
		//初始化一个随机图,节点的度符合对数正态分布,边属性初始化为1
		val graph: Graph[Int, Dou
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Pregel模型是一种分布式图计算模型,用于处理大规模图数据。s-t最短路径问题是在一个有向加权图,给定起点s和终点t,求出从s到t的最短路径。 下面是使用Pregel模型解决s-t最短路径问题的思路: 1. 将图分成多个分区,每个分区包含若干个顶点和边。每个分区可以在不同的机器上运行,从而实现并行计算。 2. 每个顶点持有一个值,表示从起点s到该顶点的最短距离。起点s的值为0,其他顶点的值为无穷大。 3. 以起点s为初始节点,向它的所有邻居节点发送消息,消息内容是从起点s到该节点的距离值。每个节点接收到来自邻居节点的消息后,将其与自己的值相加,如果和小于当前值,则更新自己的值。 4. 在下一轮迭代,每个节点向它的邻居节点再次发送消息。如果节点的值发生了改变,则继续进行迭代,否则停止。 5. 最终,当所有节点的值不再发生改变时,算法结束。此时,终点t的值就是从起点s到终点t的最短距离。 在Pregel模型实现s-t最短路径问题的关键是如何将消息传递和节点更新操作进行并行化。具体实现可以参考Pregel算法的框架,例如Google Pregel或Apache Giraph。 ### 回答2: Pregel模型是一种用于大规模图计算的并行计算模型,可以用于求解s-t最短路径问题。下面是在Pregel模型下实现s-t最短路径问题的思路: 1. 初始化:首先,将图的所有节点的距离值初始化为无穷大(除了起始节点s的距离值初始化为0),将所有节点的状态设置为“活跃”。 2. 迭代计算:在每轮迭代,对于所有活跃节点,处理如下步骤: a. 对于当前活跃节点v,计算v到其邻居节点u的距离(即通过v到达u的边的权重)加上v的当前距离,得到新的距离值dist。 b. 如果dist小于u的当前距离,则更新u节点的距离值为dist,并将u设置为“活跃”状态。 3. 终止条件:当没有节点被标记为“活跃”时,迭代结束。 4. 输出结果:最后,从终点t开始,沿着最短路径依次回溯,输出到起点s的最短路径。 在Pregel模型,每轮迭代由一系列超步(superstep)组成,每个超步包含三个阶段:计算、通信和聚合。以上描述的算法思路可以转化为Pregel模型的计算阶段的实现。具体实现时,可以使用消息传递的方式,将节点之间的计算结果进行通信和聚合。 总之,在Pregel模型下编程实现s-t最短路径问题,需要先进行初始化,然后通过迭代计算每个节点的距离值,并将更新后的值进行消息传递和聚合,直到收敛为止。最终可以从终点t开始回溯,输出s-t的最短路径。 ### 回答3: 在Pregel模型下编程实现s-t最短路径问题的思路如下: 1. 初始步骤: - 将图的每个节点初始化为一个无穷大的距离值,只有起点s的距离初始化为0。 - 将起点s标记为活跃点(active),其他节点标记为非活跃点。 2. 迭代步骤: - 对于每个活跃点,将其距离值发送给其邻居节点。 - 每个活跃点接收所有邻居节点发送的距离值,并更新自身的距离值为最小值。 - 将更新后的距离值发送给邻居节点。 - 重复上述步骤,直到所有节点都成为非活跃点,即没有进一步的更新可以进行。 3. 终止步骤: - 检查终点t的距离值,如果其仍然为无穷大,则表示起点s无法到达终点t,算法结束。 - 否则,根据距离值逆向追踪找到s到t的最短路径。 在Pregel模型下,每个节点只需要关注与自己相关的信息,而不需要感知整个图,因此可以实现并行计算。每个节点在每个迭代步骤,根据自身接收到的距离值来更新自己的距离值,并将更新后的距离值发送给邻居节点。这样,所有节点可以同时进行计算,直到没有进一步的更新可进行为止。 需要注意的是,Pregel模型需要一个消息缓冲区来存储各节点之间的消息传递。在每个迭代步骤,所有节点都需要将自己的消息发送到缓冲区,并接收缓冲区的消息。实现时可以使用分布式计算框架如Apache Giraph或GraphLab等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值