- 博客(16)
- 收藏
- 关注
RSS订阅
原创 浅谈云计算
题外话 云计算，顾名思义是在“云端”的计算能力，简单的理解为别人提供服务器来运行我的计算任务。从事云计算相关研发已接近三年，从开始的懵懵懂懂跟着前辈们去探索，到现在小有雏形的产品，自己对云计算也算是有些浅薄的认知。先不直接聊云计算本身，先从一个小故事开始，这个小故事对我入职本行业有些小小触动，工作中时不时会想起来斟酌一下。小故事发生在我...
2020-05-07 23:30:44
993
原创 Giraph中有关Aggretor的处理过程
在Giraph中，Aggretor的作用与Hama中类似，可以全局共享或者操作某一个变量，经过对源码的研究和整理，现给出在Giraph中有关Aggretor的处理过程，主要是包含Worker与Master之间的交互过程。详细区分可以分成：worker手收集本地局部aggretor值、worker将局部aggregator值分发到它所属的worker、worker获取属于本worker的局部aggr
2016-05-04 16:26:26
573
原创 对Giraph的一些理解
这两天又重新看了一下Giraph源码，对整体架构的理解又有了新的认识和理解，下面逐点来说。一、Giraph本质的理解:大家都知道，Giraph对用户来讲可能是一个基于Pregel模型的图运算项目，但是对于Hadoop来讲，其实它是一个普通的MapReduce任务。因此我们在运行时可以把他看成是一个mapreduce任务，只是这个任务有点特殊和复杂。特殊在，它没有像普通mapreduce
2016-04-27 10:23:26
3792
1
转载 HBase Region分裂
HBase region的分裂过程如图所示，其中红色代表RegionServer和或Master的行为，绿色的代表Clients的行为。 1、RegionServer决定本地的region分裂，并准备分裂工作。第一步是，在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode，并设为SPLITTING状态。2、Master通过父r
2016-04-21 20:08:00
619
原创 精灵王子逃出洞穴
精灵王子爱好冒险，在一次探险历程中，他进入了一个神秘的山洞。在洞穴深处，精灵王子不小心触动了洞穴内暗藏的机关， 整个洞穴将很快塌陷，精灵王子必须尽快逃离洞穴。精灵王子的跑步速度为17m/s,以这样的速度可能是无法逃出洞穴的。庆幸的是 精灵王子拥有闪烁法术，可在1s内移动60m，不过每次使用闪烁法术都会消耗法值10点。精灵王子的魔法值恢复的速度为4点/s，只能在原地休息状态时才能恢复。
2016-04-16 15:58:51
993
原创 Spark中的Pregel---Bagel
Spark中的Pregel—Bagel*作者：王连平 如有转载，请注明文章出处：http://blog.csdn.net/wlp001007/article/details/50925325* 最近在学习Spark源码，看到Bagel 的部分，联想到自己之前学习的两个Pregel开源平台，在这里想对比和总结一下，但本文的最重要的部分还是堆Bagel的一个源码解析和走读。 首先，简单介
2016-03-18 17:27:01
2312
原创 用哈弗曼树编码字符串 求出编码后字符串二进制位长度
大家对哈弗曼编码应该很熟悉，哈弗曼编码最大的一个用处就是压缩存储，本文要讲的不是如何编码，而是求出对字符串编码后的二进制位的长度。估计一般的同学都会有思路，最简单的思路就是先构建好哈弗曼树，然后编码，然后求长度，这个思路很简单但是下面给出一个用c++写的一个比较牛逼的程序，效率比较高： #include <cstdio>#include <cstring>#include <cstdl
2015-10-22 18:08:44
2865
原创 数独游戏答案不唯一
闲来无事，写了一段数独游戏求解的程序，得出来的结果与答案结果竟然不一样，但是仔细检查后发现两个答案都是正确的，如下：题目： 7 2 6 9 0 4 0 5 1 0 8 0 6 0 7 4 3 2 3 4 1 0 8 5 0 0 9 0 5 2 4 6 8 0 0 7 0 3 7 0 0 0 6 8 0 0 9 0 0 0 3 0 1 0 0 0 0 0 0 0 0 0 0 9 0 0
2015-10-20 16:11:51
3130
转载 二分图匹配 匈牙利算法
链接： USACO 4.2.2 The Perfect Stall 完美的牛栏 stall4这是一种用增广路求二分图最大匹配的算法。它由匈牙利数学家Edmonds于1965年提出，因而得名。 定义 未盖点：设Vi是图G的一个顶点，如果Vi 不与任意一条属于匹配M的边相关联，就称Vi 是一个未盖点。交错路：设P是图G的一条路，如果P的任意两条相邻的边一定是一条属于
2015-09-07 16:14:20
420
转载 [翻译]大数据处理的趋势-五种开源技术介绍
作者：杨鑫奇本篇文章是一篇翻译文章，对未来大数据领域的技术进行一些前瞻性的介绍，个人感觉他写的文章还是很好的，推荐的技术也具有的一定的代表性，遂将本篇文章翻译出来，感兴趣的大家能够看看。大数据领域的处理，我自己本身接触的时间也不长，正式的项目还在开发之中，深受大数据处理方面的吸引，所以也就有写文章的想法的了。 原文链接：http://techcrunch.c
2015-09-01 10:25:58
1118
原创 Hama框架学习（三） Master如何将job规划到GroomServer
*作者：王连平*如有转载，请注明文章出处：[http://blog.csdn.net/wlp001007/article/details/47423533](http://blog.csdn.net/wlp001007/article/details/47423533%20%E6%96%87%E7%AB%A0%E5%9C%B0%E5%9D%80)本文章距离上一篇文章间隔了很长一段时间，很不好意思，
2015-08-11 17:14:30
839
3
原创 Hama框架学习（二） Master如何将job规划到GroomServer
作者：王连平 如有转载，请注明文章出处：http://blog.csdn.net/wlp001007/article/details/45057463 在上一篇学习文章中，已经讲到，BSPJobClient对象的launchJob（）函数已经获取的了BSPMaster的远程对象代理，并且调用了BSPMaster的submitJob()这个函数，本文章将详细讲解BSPMaster如何将一个Job进
2015-04-15 12:08:17
760
原创 Hama框架学习(一) 从源码角度分析job的提交和运行过程
虽然之前知道Hama的运行机制，但是只是理论上的理解，最近几天从源码出发对Hama的job提交和运行过程进行了学习，对Hama的整体框架有了更深刻的认识。
2015-04-05 14:25:42
1174
3
原创 Hama单机模式下的安装
Hama是Apache公司对Google公司的Pregel模型的开源实现，实际上则是对经典的BSP模型的实现。本文章对在伪分布模式下的hama安装进行了介绍
2015-03-06 10:12:55
1700
原创 如何查看unbuntu是多少位的系统
这个很简单，一条命令就可以搞定uname -m 这个比较直接上面的显示是32位的系统，如果这个不够详细可以用这个命令：uname -a如果i686处显示为X86_64即为64位，此处显然为32位机器
2015-03-05 16:34:17
692
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人