spark-GraphX 图像的聚合操作aggregate (计算图中各节点到根节点的最远距离)

import org.apache.spark.graphx.{Edge, EdgeContext, Graph, VertexRDD}
import org.apache.spark.{SparkConf, SparkContext}

方法一:join 

object aggregate_demo2 {

  //数据发送   [Int, String, Int]分别代表:[顶点的数据集(初始化完成之后就是距离的数据集),边的数据集(两顶点的关系的名称), 发送的消息的数据类型]
 
    def sendMsg(ec:EdgeContext[Int,String,Int])={
    //向每条边的目标顶点发送数据,发送的是 源顶点的src的属性数据+1
    ec.sendToDst(ec.srcAttr + 1)
  }
   //统计每个顶点收到的数据的值, 返回最大的数据值,作为顶点的属性数据
  def mergeMsg(a:Int, b:Int):Int={
    math.max(a,b)
  }

  def sumEdgeCount(g:Graph[Int,String], i:Int = 1):Graph[Int,String]={
    //执行aggregateMessages,返回顶点数据集
     val verts= g.aggregateMessages[Int](sendMsg, mergeMsg)
     verts.collect.foreach(println(_))
    //创建一个新的图g2,由新生成的顶点数据集和生成前的边的数据集构成(边的数据集是一直不变的)
    val g2 = Graph(verts, g.edges)
    //然后,将g2和g的顶点数据集join起来,计算
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值