![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Lupe_wlp
这个作者很懒,什么都没留下…
展开
-
[翻译]大数据处理的趋势-五种开源技术介绍
作者:杨鑫奇本篇文章是一篇翻译文章,对未来大数据领域的技术进行一些前瞻性的介绍,个人感觉他写的文章还是很好的,推荐的技术也具有的一定的代表性,遂将本篇文章翻译出来,感兴趣的大家能够看看。大数据领域的处理,我自己本身接触的时间也不长,正式的项目还在开发之中,深受大数据处理方面的吸引,所以也就有写文章的想法的了。 原文链接:http://techcrunch.c转载 2015-09-01 10:25:58 · 1126 阅读 · 0 评论 -
Spark中的Pregel---Bagel
Spark中的Pregel—Bagel*作者:王连平 如有转载,请注明文章出处:http://blog.csdn.net/wlp001007/article/details/50925325* 最近在学习Spark源码,看到Bagel 的部分,联想到自己之前学习的两个Pregel开源平台,在这里想对比和总结一下,但本文的最重要的部分还是堆Bagel的一个源码解析和走读。 首先,简单介原创 2016-03-18 17:27:01 · 2337 阅读 · 0 评论 -
对Giraph的一些理解
这两天又重新看了一下Giraph源码,对整体架构的理解又有了新的认识和理解,下面逐点来说。一、Giraph本质的理解:大家都知道,Giraph对用户来讲可能是一个基于Pregel模型的图运算项目,但是对于Hadoop来讲,其实它是一个普通的MapReduce任务。因此我们在运行时可以把他看成是一个mapreduce任务,只是这个任务有点特殊和复杂。特殊在,它没有像普通mapreduce原创 2016-04-27 10:23:26 · 3804 阅读 · 1 评论 -
HBase Region分裂
HBase region的分裂过程如图所示,其中红色代表RegionServer和或Master的行为,绿色的代表Clients的行为。 1、RegionServer决定本地的region分裂,并准备分裂工作。第一步是,在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode,并设为SPLITTING状态。2、Master通过父r转载 2016-04-21 20:08:00 · 627 阅读 · 0 评论