- 博客(2)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Hadoop计算中的Shuffle过程
Shuffle过程是MapReduce的核心,，也是优化的重点，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼
2014-10-28 11:17:49
652
转载 配置Hadoop开发环境（Eclipse）
通常我们可以用Eclipse作为Hadoop程序的开发平台。 1） 下载Eclipse 下载地址：http://www.eclipse.org/downloads/ 根据操作系统类型，选择合适的版本下载并安装。 2） 下载并编译Hadoop的Eclipse插件 网上可直接下载到Hadoop 1.x 的Eclipse插件，但是该插件和Hadoop2.2 不兼容，所以
2014-10-27 14:54:15
648
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人