hadoop2
appstore81
这个作者很懒,什么都没留下…
展开
-
配置Hadoop开发环境(Eclipse)
通常我们可以用Eclipse作为Hadoop程序的开发平台。1) 下载Eclipse下载地址:http://www.eclipse.org/downloads/根据操作系统类型,选择合适的版本下载并安装。2) 下载并编译Hadoop的Eclipse插件网上可直接下载到Hadoop 1.x 的Eclipse插件,但是该插件和Hadoop2.2 不兼容,所以转载 2014-10-27 14:54:15 · 656 阅读 · 0 评论 -
Hadoop计算中的Shuffle过程
Shuffle过程是MapReduce的核心,,也是优化的重点,也被称为奇迹发生的地方。要想理解MapReduce,Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼转载 2014-10-28 11:17:49 · 661 阅读 · 0 评论