- 博客(2)
- 资源 (4)
- 收藏
- 关注
转载 Hadoop计算中的Shuffle过程
Shuffle过程是MapReduce的核心,,也是优化的重点,也被称为奇迹发生的地方。要想理解MapReduce,Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼
2014-10-28 11:17:49 652
转载 配置Hadoop开发环境(Eclipse)
通常我们可以用Eclipse作为Hadoop程序的开发平台。 1) 下载Eclipse 下载地址:http://www.eclipse.org/downloads/ 根据操作系统类型,选择合适的版本下载并安装。 2) 下载并编译Hadoop的Eclipse插件 网上可直接下载到Hadoop 1.x 的Eclipse插件,但是该插件和Hadoop2.2 不兼容,所以
2014-10-27 14:54:15 648
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人