MapReduce:详解Shuffle过程

转载自:http://langyu.iteye.com/blog/992916 Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前...

2013-06-12 20:46:22

阅读数:626

评论数:0

hadoop伪分布式每次启动时需要重新format否则namenode无法启动的问题

伪分布式模式下,hadoop每次start-all完之后,用jps发现namenode没有正常启动,原因是将hadoop默认的临时目录在/tmp目录下,这个目录在机器重启后就会删除。所以在conf目录下的core-site.xml文件里加入对临时文件夹的配置即可           hado...

2012-11-04 16:18:08

阅读数:5561

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭