Spark学习笔记:Pregel API

import org.apache.spark.graphx._
// Import random graph generation library
import org.apache.spark.graphx.util.GraphGenerators
// A graph with edge attributes containing distances
val graph: Graph[Int, Double] =
  GraphGenerators.logNormalGraph(sc, numVertices = 100).mapEdges(e => e.attr.toDouble)
val sourceId: VertexId = 42 // The ultimate source
// Initialize the graph such that all vertices except the root have distance infinity.
val initialGraph = graph.mapVertices((id, _) => if (id == sourceId) 0.0 else Double.PositiveInfinity)
val sssp = initialGraph.pregel(Double.PositiveInfinity)(
  (id, dist, newDist) => math.min(dist, newDist), // Vertex Program
  triplet => {  // Send Message
    if (triplet.srcAttr + triplet.attr < triplet.dstAttr) {
      Iterator((triplet.dstId, triplet.srcAttr + triplet.attr))
    } else {
      Iterator.empty
    }
  },
  (a,b) => math.min(a,b) // Merge Message
  )
println(sssp.vertices.collect.mkString("\n"))

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark GraphX是Apache Spark的一个图计算框架,用于处理大规模图数据。它提供了一套丰富的图算法库,可以用于分析和处理图数据。 要开始使用Spark GraphX,首先需要将Spark和GraphX导入你的工程。例如,你可以使用以下语句导入所需的包: import org.apache.spark._ import org.apache.spark.graphx._ import org.apache.spark.rdd.RDD 一旦导入了Spark和GraphX,你就可以使用GraphX的图构建功能来创建图。你可以使用GraphGenerators来生成随机图,然后使用图的操作和算法来分析图数据。例如,你可以使用GraphX的pregel操作来实现单元最短路径算法。 以下是一个使用Spark GraphX构建图和计算单元最短路径的示例代码: import org.apache.spark.graphx._ import org.apache.spark.graphx.util.GraphGenerators // 创建一个带有边属性的图,边属性表示距离 val graph: Graph[Int, Double] = GraphGenerators.logNormalGraph(sc, numVertices = 100).mapEdges(e => e.attr.toDouble) val sourceId: VertexId = 42 // 设置起始点 // 初始化图,使除了根节点外的所有顶点的距离为无穷大 val initialGraph = graph.mapVertices((id, _) => if (id == sourceId) 0.0 else Double.PositiveInfinity) // 使用pregel操作计算最短路径 val sssp = initialGraph.pregel(Double.PositiveInfinity)( (id, dist, newDist) => math.min(dist, newDist), // Vertex Program triplet => { // 发送消息 if (triplet.srcAttr + triplet.attr < triplet.dstAttr) { Iterator((triplet.dstId, triplet.srcAttr + triplet.attr)) } else { Iterator.empty } }, (a,b) => math.min(a,b) // 合并消息 ) // 打印最短路径结果 println(sssp.vertices.collect.mkString("\n")) <span class="em">1</span><span class="em">2</span><span class="em">3</span>

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值