![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
开源
Lupe_wlp
这个作者很懒,什么都没留下…
展开
-
[翻译]大数据处理的趋势-五种开源技术介绍
作者:杨鑫奇本篇文章是一篇翻译文章,对未来大数据领域的技术进行一些前瞻性的介绍,个人感觉他写的文章还是很好的,推荐的技术也具有的一定的代表性,遂将本篇文章翻译出来,感兴趣的大家能够看看。大数据领域的处理,我自己本身接触的时间也不长,正式的项目还在开发之中,深受大数据处理方面的吸引,所以也就有写文章的想法的了。 原文链接:http://techcrunch.c转载 2015-09-01 10:25:58 · 1118 阅读 · 0 评论 -
Spark中的Pregel---Bagel
Spark中的Pregel—Bagel*作者:王连平 如有转载,请注明文章出处:http://blog.csdn.net/wlp001007/article/details/50925325* 最近在学习Spark源码,看到Bagel 的部分,联想到自己之前学习的两个Pregel开源平台,在这里想对比和总结一下,但本文的最重要的部分还是堆Bagel的一个源码解析和走读。 首先,简单介原创 2016-03-18 17:27:01 · 2312 阅读 · 0 评论 -
对Giraph的一些理解
这两天又重新看了一下Giraph源码,对整体架构的理解又有了新的认识和理解,下面逐点来说。一、Giraph本质的理解:大家都知道,Giraph对用户来讲可能是一个基于Pregel模型的图运算项目,但是对于Hadoop来讲,其实它是一个普通的MapReduce任务。因此我们在运行时可以把他看成是一个mapreduce任务,只是这个任务有点特殊和复杂。特殊在,它没有像普通mapreduce原创 2016-04-27 10:23:26 · 3792 阅读 · 1 评论 -
Giraph中有关Aggretor的处理过程
在Giraph中,Aggretor的作用与Hama中类似,可以全局共享或者操作某一个变量,经过对源码的研究和整理,现给出在Giraph中有关Aggretor的处理过程,主要是包含Worker与Master之间的交互过程。详细区分可以分成:worker手收集本地局部aggretor值、worker将局部aggregator值分发到它所属的worker、worker获取属于本worker的局部aggr原创 2016-05-04 16:26:26 · 573 阅读 · 0 评论