Spark学习笔记（八）

GRAPHX
-SPARK上的统一图表分析

许多图形并行算法
协作过滤

交替最小二乘法
随机梯度下降
张量因式分解

结构化预测

Loopy Belief Propagation
最大产品线性计划
吉布斯取样

半监督ML

图形SSL
CoEM

社区检测

三角计数
K-core分解
K-Truss

图表分析

PageRank
个性化PageRank
最短路径
图形着色

分类

神经网络

图形并行系统
Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb

• 公开专用API以简化图形编程。
• 利用图形结构，在更一般的情况下实现数量级的性能增益

专业API：Pregel
顶点 - 程序通过发送消息进行交互

Pregel_PageRank(i,messages):
//Receive all the messages 
total =0
foreach(msg in messages):
total=total+msg
//Update the rank of this vertex
R[i] = 0.15 + total
//Send new messages to neighbors
foreach(j in out_neighbors[i]):
Send msg(R[i]) to vertex j

Spark比Hadoop快4倍，GraphLab比Spark快16倍
GraphX统一方法解决单独的系统支持每个视图所带来的麻烦，使用户能够轻松高效地表达整个图形分析管道

• 新API

  • 模糊表和图之间的区别，表和图是相同物理数据的可组合视图，以表格形式查看图表

• 新Library

  • 在Spark中嵌入Graph-Parallel模型