Hadoop
njufighter
这个作者很懒,什么都没留下…
展开
-
Ant编译eclipse hadoop plugin插件
网上讲的用Ant编译eclipse hadoop plugin插件,都讲的很复杂,对于我这样的菜鸟哪里经得起这么多折腾,本人经过实践,写出我的编译经验 首先请预先安装ant并设置环境变量,下载hadoop-1.1.2.tar.gz源码解压 修改${hadoop.root}/src/contrib目录的build-contrib.xml文件,添加eclipse路径和hadoop版本信息 p转载 2013-05-31 21:56:59 · 562 阅读 · 0 评论 -
MapReduce的工作机制
MapReduce的工作机制 (1) Job的提交:jobClient的RunJob可以新建JobClient实例,并调用SubmitJob()。 SubmitJob()实现的作业提交过程: a. 向jobtracker请求一个新的JobID b. 检查Job的输出说明 c. 计算Job的输入分片 d. 将原创 2013-06-04 00:04:19 · 586 阅读 · 0 评论 -
Shuffle和排序
shuffle和排序 MapReduce确保每个Reducer的输入都按照键排序。系统执行排序的过程--将map输出作为输入传给reducer--称为shuffle。 Map端 每个Map任务都有一个Ring Buffer,用于存储任务的输出。一旦Buffer内容达到阈值,一个后台线程便开始把内容写到磁盘中(按轮询方式写到指定子目录下)。在写磁盘过程中,map输出继续被写到缓冲区,但如果在此原创 2013-06-04 22:53:27 · 596 阅读 · 0 评论