spark graphX求前几条最短路径以及中间结点

最近有个需求,求图节点到其他节点的所有路径或者前几条最短路径,发现官方例子只有求最短路径而已,还有一个变种就是把最短路径的节点给保存下来而已。

  1. 基于此既然能把中间节点保留下来,那么按道理来说保留前几个最短路径也是可行的
  2. 仔细研究了pregel的过程,理解各个过程的作用

    a.vprog,作用是处理到达顶点的参数,取较小的那个作为顶点的值

    b. sendMsg,计算权重,如果邻居节点的属性加上边上的距离小于该节点的属性,说明从源节点比从邻居节点到该顶点的距离更小,更新值

    c.mergeMsg,合并到达顶点的所有信息

   3.  仿照最短路,设置求所有路径msg

/**
 * 最短路径
 *
 * @param sourceId 源节点Id
 * @param current  当前节点的距离
 * @param values   接受点的距离
 * @param max_n    最大接受点个数
 * @param routes   接受点的路径
 */
case class AcceptRoutes(sourceId: Long, current: Double, values: Array[Double], routes: Array[List[VertexId]], max_n: Int = 5) {
  override def toString: String = s"AcceptRoutes($sourceId,$current,Array(${values.mkString(",")}),Array(${routes.mkString(",")}),$max_n)"
}

其中max_n,是保留当前节点最大来源路径。

vprog的改写:

(vertexId, vertexValue, msg) => {
          //if (vertexValue.current < msg.current) vertexValue else msg
          val min = math.min(vertexValue.current, msg.current)
          val left = vertexValue.values.zip(vertexValue.routes)
          val right = msg.values.zip(msg.routes)
          val union = left.union(right).distinct.filter(y => y._1 < Double.PositiveInfinity).sortBy(_._1).take(vertexValue.max_n)
          AcceptRoutes(vertexId, min, union.map(_._1), union.map(_._2), vertexValue.max_n)
        },

sendMsg的改写:

triplet => { //s
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值