![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 78
caihong0571
这个作者很懒,什么都没留下…
展开
-
MAPREDUCE流程3
我们以wordcount为例,假设有个6400M的文件,100台hadoop机器(准确地说应该是tasktracker机),默认block大小为64M,这样每台执行map的文件刚好是一个64M的block文件(假设这个分发过程已经完成,同时忽略备份数之类的细节),并且我们使用10个reduce任务来归并文件。Hadoop的mapreducer的执行过程如下: 这100台机器上面的map都是并转载 2012-11-27 08:05:16 · 272 阅读 · 0 评论 -
mapreduce流程2
最近看了hadoop的mapreduce部分代码,看了之后总结了一下,算是成果吧。以下是程序执行的主要流程,其中参考了网上的一些文章。 概括 Hadoop包括hdfs与mapreduce两部分,在试用期期间我主要看了mapreduce部分,即hadoop执行作业的部分。 mapreduce中几个主要的概念 mapreduce整体上可以分为这转载 2012-11-27 08:00:34 · 411 阅读 · 0 评论 -
mapreduce流程1
1. 概述 Hadoop MapReduce基于“分而治之”的思想,将计算任务抽象成map和reduce两个计算过程,计算流程如下: map过程包括: 1). 从磁盘读入数据 2). 运行map任务 3). 写结果到磁盘 reduce过程包括: 1). shuffle&sort 2). 运行reduce任务 3). 写结果到磁盘 2. 分析 在map的第三个阶转载 2012-11-27 07:59:30 · 583 阅读 · 0 评论