- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 MapReduce详解Shuffle过程
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里
2015-02-02 21:31:08
1538
2
转载 NameNode 与 SecondaryNameNode 的关系
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以一段时间后日志文
2015-02-01 21:10:02
1620
原创 hadoop 常见错误
一、执行start-dfs.sh后，datenode没有启动完全分布式模式下，一开始slaves配置如下：master.apache.orgslave1.apache.orgslave2.apache.orgmaster.apache.org既做namenode，也做datanode。后来我修改了此文件，slave1.apac
2015-02-01 10:39:03
12446
4
java论文管理系统
2010-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人