大数据原理-图计算

处理图结构数据

图结构：数据关联性

Pregel：

基于BSP模型实现的并行图处理系统

有向图作为输入：
每个顶点都有：
一个String类型的顶点ID
一个可修改的用户自定义值与之关联
与其源顶点关联并且记录了目标顶点的ID

在每个超步S中，图中所有顶点都会执行相同的用户自定义函数

每个顶点可以接受前一个超步S-1发给它的信息，修改自身及其射出边的状态，发送信息给其他顶点，甚至修改图的拓扑结构

边不是核心对象，边不会运行计算，顶点才会执行用户自定义函数计算

传递消息的基本方法：
远程读取、共享内存

Pregel基于消息传递

Pregel计算过程：
由超步迭代完成、每个超步中的每个顶点上都会并行执行用户自定义的函数Compute

所有顶点不再处于活跃状态并且不再发生消息传递的时候->迭代结束
开始的时候所有顶点都是活跃状态\顶点不再运算时设为停机等待Pregel计算框架将其激活

超步0：开始状态

消息传递机制：
顶点通讯通过消息传递机制，每条信息包含了消息值和目标顶点ID
在一个超步中，一个顶点可以发送任意数量的消息，这些消息在下一个超步S+1被其他顶点接收

Combine合并消息减少传输和缓存的开销（满足交换律结合律的时候开启）

Pregel计算的过程

Master一个大型图分成多个分区分给Worker、包含部分顶点及其起点的边
Hash函数求解ID得到顶点所在的分区
一个Master协调多个Worker执行任务
数据装载给worker
Master发送指令给Worker、超步完成后通知Master、Master控制停机活跃

Worker：保存信息在内存中
包含当前顶点值、出射边列表、消息队列、标志位（是否处于活跃状态）
两份消息队列和标志位：当前超步和下一个超步