【大数据分析】基于Spark Graphx的图路径规划算法PathPlanning实现

算法介绍

PathPlanning是基于 Spark Graphx 中的 Pregel 机制实现的算法。关于Pregel机制的理解可参考【大数据分析】基于Graphx的shortestpath源码解析。PathPlanning可以在有限的迭代次数内尽可能多地计算出图数据中起始点 $S$ 到目标点 $T$ 的所有路径。

算法解析

数据的准备

创建样例数据的代码

    val myVertices = sc.makeRDD(Array(
      (1L, "Dave"),
      (2L, "Faith"),
      (3L, "Harvey"),
      (4L, "Bob"),
      (5L, "Alice"),
      (6L, "Charlie"),
      (7L, "George"),
      (8L, "Ivy")
    ))

    val myEdges = sc.makeRDD(Array(
      Edge(7L, 1L, "friend"),
      Edge(7L, 2L, "sister"),
      Edge(7L, 6L, "friend"),
      Edge(1L, 4L, "friend"),
      Edge(4L, 1L, "brother"),
      Edge(3L, 2L, "boss"),
      Edge(2L, 3L, "client"),
      Edge(2L, 4L, "client"),
      Edge(1L, 5L, "client"),
      Edge(4L, 5L, "coworker"),
      Edge(3L, 8L, "coworker"),
      Edge(5L, 8L, "father"),
      Edge(4L, 8L, "colleague")
    ))

样例数据的示意图，我们这次的S是1L，T是8L）如下：

关于图算法需要思考的问题

基于Pregel机制实现的算法，一般需要考虑几个问题
（1）如何定义节点的属性结构？
（2）如何初始化节点的属性？
（3）在进行第一次迭代前，如何激活所有的节点？
（4）如何传递消息（节点状态如何变化，消息传递的方向，如何进行消息的更新）
（5）接收到多个消息如何将它们进行组合（merge）
（6）最终接收到的消息如何与当前节点的属性组合（vertex_program）

定义节点的属性类型

代码中定义了两个case class类型和一个MsgValue类型

  /**
   * @desc The path instance type including the definition of length of path and the definition of path
   */
  case class PathInstance(l: Double, p: List[VertexId])

  /**
   * @param dstId         Used to store S's ID
   * @param pathInstances An ArrayBuffer that used to store a path that combined with a list of nodes
   */
  case class MsgValue(dstId: VertexId, pathInstances: ArrayBuffer[PathInstance])
  type MsgType = Map[VertexId, MsgValue]

（1）PathInstance 代表路径实例类型，一个路径实例包含路径 p ，以及对应的路径长度 l 。
（2）MsgValue 包含两个变量，dstId