- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 GraphX 实现K-Core
背景graphx实现k-core比较简单，参考淘宝技术部之前的文章，已经给出了一个代码片段，基本上改改就可以定制自己的需求了。codeimport org.apache.spark._import org.apache.spark.graphx._import org.apache.spark.storage.StorageLevelimport org.apache.spark.graphx
2015-08-06 17:02:28
4701
1
原创 GraphX 图数据建模和存储
背景简单分析一下GraphX是怎么为图数据建模和存储的。入口可以看GraphLoader的函数，def edgeListFile( sc: SparkContext, path: String, canonicalOrientation: Boolean = false, numEdgePartitions: Int = -1, edgeS
2015-08-05 10:47:52
7442
2
原创 GraphX实现N度关系
背景本文给出了一个简单的计算图中每个点的N度关系点集合的算法，也就是N跳关系。之前通过官方文档学习和理解了一下GraphX的计算接口。N度关系实现思路： 1. 准备好边数据集，即”1 3”, “4, 1” 这样的点关系。使用GraphLoader 的接口load成Graph 2. 初始化每个Vertice的属性为空Map 3. 使用aggregateMessages把VerticeID和
2015-08-04 12:19:23
4766
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人