第九章:在Spark集群上掌握比较重要的图操作之Structural Operators

Spark GraphX中属于Structural Operators的操作主要有reverse、subgraph、mask、groupEdges等几种函数,他们在Graph中的源码分别如下所示:
 

 

上述函数中用发比较多的是subgraph,下面我们看一下如何使用subgraph。

首先看一下基于web-Google.txt构建的graph有多少vertices:
 

从执行结果上可以看出有875713个顶点;

看一下基于web-Google.txt构建的graph有多少edges:
 

可以发现有5105039条边。

接下来使用subgraph,我们首先只考虑第一个参数,也就是说第二个参数使用默认值而不参加判断:
 

我们验证一下subgraph的结果:
 

执行结果中表明源顶点的ID都是大于目标顶点的ID的。

接下来看一下我们构建的subgraph的顶点的个数:
 

此时发现顶点个数依旧是875713个,和原图是一样的个数。

使用subgraph.edges.count看一下subgraph的边的个数:
 

从执行结果上可以看出此时的是2420548,而原来的graph的边的个数是5105039,所以通过过滤条件下的subgraph的边减少了。

接下来我们也加入对顶点过滤的子图构建:
 

我们查看一下此时的顶点的个数:
 

执行结构表明顶点的个数据 400340,原来的顶点个数是875713,顶点在过滤条件的作用下进行了减少。

我们看一下大于1000000的顶点个数:
 

此时使用subgraph.vertices.count查看一下顶点的个数:
 

从结果上可以发现不存在顶点的ID大于1000000的情况。


本文转自http://book.51cto.com/art/201409/451614.htm,所有权力归原作者所有。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值