Giraph superstep中做的事情,以及其与BSP模型的对比

Giraph在一个superstep中要做的事情大概分为3步

1.处理单元要对每一个active vertices迭代,call compute(),在一个vertex生成message后,它们会被发送到对应的处理单元根据destination vertex.在message被发送前沪指当它们到底destination的时候,combiners会被调用,在这些不同的阶段。处理单元在结束computing vertex后并且完成发送剩余信息后,会等待在synchronization barrier上等待其它units完成

2.processing units会总结aggregators computation然后aggregete local aggregations.当 processing units完成了aggregations后,它们会到next superstep.

3 在 offloading phase, 这时候processing units已经在memory里面有了vertex values edges with values.这些数据代表着结果,processing units 把这些数据写回到opersistent storage.整个运算就结束了


在传统的BSP模型中,一个superstep被分为3步: 本地的计算, 消息的传递, 同步的barrier.

然而Giraph在superstep中则不太相同,它把本地计算和消息传递合在一起了,处理单元在它们刚出来的时候就可以exchange message了,而不是等待其它vertex完成,这会使得d我们减少network一些时间,尤其是在hadoop clusters上运行着很多工作的时候, 这样的处理会使得giraph变得更加高效,带来更小的负担。


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值