Hadoop学习重点主要为HDFS、MapReduce 部分:
接下来重点描述一下MAP与Reduce 的过程。
看了好多资料,如果有错误的地方请大家指出。
MAP部分:
TaskTracker 接受到MAP任务,或者SPLIT, 一个SPLIT对应一个或者多个BLOCK。有多少个SPLIT就会有多少个MAP过程。
MAP过程一共分为3步。
1、输入阶段。 MAP进程获取SPLIT分块
2、MAP过程。根据每一个<KEY,VALUE>对进行MAP过程。代码如下: 以下是MAP阶段多线程运行部分。
也就是对每一个<KEY,VALUE>进行MAP 相应操作。
public void run(Context content) throws ..{
...
while(context.nextKeyValue()){
map(key,value,context)
}
..
}
protected map(...){
context.write((KEYOUT)key,(VALUEOUT)value);
}
3、Shuffle部分。结束MAP步骤输出MAP结果,结果是存储在内存中的。 但是当MAP结果数量过大时,内存空间不足,那么就会将结果SPILL,也就是压进磁盘中。在压进磁盘之前,会进行sort partition and combine(if has)。 压进磁盘过程中, MAP部分停止往内存输入数据直到SPILL结束。
sort: 应该是根据KEY值进行 merge 排序
partition: 将MAP输出的<key,value>进行 part. 不同的 partition 会分到不同的reduce机器进行处理。 hadoop默认的partition部分是根据key值的hash值分类,从而确保相同的key值分到同一个reudce钟
combine:这是MAP的最后一步,就是对于MAP输出的一个预reduce
Reduce部分:
通过上图来理解REDUCE部分。
我将REDUCE分为以下几步:
1、数据收集。 REDUCE端有一个进程间歇的向 Jobtrack发送请求,询问已经完成MAP的数据。 获得相应数据后,REDUCE端通过HTTP请求将结果COPY到本地
2、数据整合。 REDUCE端从不同的机器上获得多个MAP结果,然后进行MERGE整合
3、对每一个<key, Iist<value>> 进行一个REUDCE操作。 主要代码如下:
public void run(Context content) throws ..{
...
while(context.nextKeyValue()){
reduce(key,value,context)
}
..
}
protected void reduce(...){
for(VALUEIN value: values){
contenxt.write(...)
}