hadoop
天道酬勤厚积薄发
不懈的努力是迈向成功最坚实可靠的途径。
展开
-
Hadoop2的高可用并取代SecondaryNamenode
在hadoop2.0之前,namenode只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode这些,但是单点问题依然存在),在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式,一种是NFS(Network File System)方式,另外一种是QJM(Quorum Journal转载 2016-10-17 16:46:32 · 6875 阅读 · 1 评论 -
hadoop下的Map-Reduce最高温度例子
1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/-0067011990999991950051507+0000+0043011990999991950051512+0022+00430119转载 2016-10-17 17:59:28 · 675 阅读 · 0 评论 -
MapReduce:详解Shuffle过程
/** * author : 冶秀刚 * mail : dennyy99@gmail.com */ Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job转载 2016-10-17 18:14:41 · 213 阅读 · 0 评论