- 博客(1)
- 资源 (10)
- 收藏
- 关注
原创 hadoop mapreduce执行流程
我们以wordcount为例,假设有个6400M的文件,100台hadoop机器(准确地说应该是tasktracker机),默认block大小为64M,这样每台执行map的文件刚好是一个64M的block文件(假设这个分发过程已经完成,同时忽略备份数之类的细节),并且我们使用10个reduce任务来归并文件。Hadoop的mapreducer的执行过程如下: 这100台机器上面的map都是并发、
2013-09-02 11:28:25 592
svn 做成milestone
svn 做成milestonesvn 做成milestonesvn 做成milestonesvn 做成milestonesvn 做成milestone
2011-11-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人