![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SparkGraphX
刘金超DT
让数据说话,让未来透明
展开
-
SparkGraphX图计算(一)
SparkGraphX图计算(一)一、什么是图二、什么是SparkGraphX三、常见的图算法1、PageRank算法2、最短路径算法3、社群发现4、推荐算法ALS和SVD++四、GraphX数据抽象RDPG五、图基本结构1、GraphX的底层设计2、图数据存储方式六、GraphX简单案例-社交网络关系查询一、什么是图什么是图?图计算都在计算什么?我们可以从社交网络、人物关系挖掘、节点之间依赖...原创 2019-09-04 17:17:23 · 5290 阅读 · 1 评论 -
SparkGraphX图计算(二)
图组成与概念一、图计算基本概念1、vertices2、edges3、triplets二、图分类1、有向图和无向图2、有环图和无环图3、有标签图和无标签图4、平行边和环5、二分图6、RDF图和属性图三、图存储方式1、边分割存储2、点分割存储(主流)3、图的邻接矩阵存储方式四、GraphX存储模式1、RandomVertexCut2、CanonicalRandomVertexCut3、EdgePart...原创 2019-09-04 18:50:54 · 1175 阅读 · 1 评论 -
SparkGraphX图计算(三)
SparkGraphX构建图一、SparkGraphX构建图的两种方法方法一:根据边构建图方法二:根据边的两个顶点数据构建图二、SparkGraphX构建图的三个步骤第一步:构建边EdgeRDD①从文件中加载信息,转换成tuple的形式,即(srcId, dstId)②入口,调用Graph.fromEdgeTuples(rawEdgesRdd)③将RDD[Edge[ED]]进一步转化成EdgeRD...原创 2019-09-04 20:08:30 · 637 阅读 · 0 评论 -
SparkGraphX图计算(四)
SparkGraphX构建图案例各方法对比与总结案例一:分析-协作数据案例二:分析-社交网络数据要构建一个图,可以调用这个看起来像构造函数的Graph()。当一个Scala的类或对象中定义了函数apply()时,在调用apply()时可以省略apply,即Graph.apply()简写为Graph () 。所以Graph()看起来像是一个构造函数,但实际上它是在调用apply()函数。弹性分...原创 2019-09-04 20:10:47 · 310 阅读 · 0 评论 -
SparkGraphX对图的操作(五)
SparkGraphX对图的操作一、图的基本信息二、SparkGraphX的转换操作mapVerticesmapEdgesmapTriplet三、SparkGraphX的结构操作reversesubgraphmaskgruopEdges四、SparkGraphX关联操作joinVertices,底层实现的也是outerJoinVertices的操作outerJoinVertices一、图的基本信...原创 2019-09-04 20:26:33 · 663 阅读 · 0 评论