GRAPHX
-SPARK上的统一图表分析
许多图形并行算法
协作过滤
交替最小二乘法
随机梯度下降
张量因式分解
结构化预测
Loopy Belief Propagation
最大产品线性计划
吉布斯取样
半监督ML
图形SSL
CoEM
社区检测
三角计数
K-core分解
K-Truss
图表分析
PageRank
个性化PageRank
最短路径
图形着色
分类
神经网络
图形并行系统
Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb
- 公开专用API以简化图形编程。
- 利用图形结构,在更一般的情况下实现数量级的性能增益
专业API:Pregel
顶点 - 程序通过发送消息进行交互
Pregel_PageRank(i,messages):
//Receive all the messages
total =0
foreach(msg in messages):
total=total+msg
//Update the rank of this vertex
R[i] = 0.15 + total
//Send new messages to neighbors
foreach(j in out_neighbors[i]):
Send msg(R[i]) to vertex j
Spark比Hadoop快4倍,GraphLab比Spark快16倍
GraphX统一方法解决单独的系统支持每个视图所带来的麻烦,使用户能够轻松高效地表达整个图形分析管道
新API
- 模糊表和图之间的区别,表和图是相同物理数据的可组合视图,以表格形式查看图表
新Library
- 在Spark中嵌入Graph-Parallel模型