mapReduce浅析

MapReduce分为两个阶段：Mapper和Reducer，用户只需要实现map()和reduce()两个函数，即可实现分布式计算。

两个工作节点为ResourceManager，NodeManager。

ResourceManager工作职能：

1、管理nodeManager

2、检测NodeManager状态变换，通过RPC心跳实现。

3、任务的分配和调度，做到细粒度任务分配，比如某一个任务需要占用多大内存，需要多少计算资源。

NameNode工作职能：

1、收到resouceManager发过来的任务，并进行任务处理（map+reduce）

MapReduce执行步骤

1.map任务处理:

　1.1 读取hdfs文件内容,把内容中的每一行解析成一个键(key)值(value)对.键是字节的偏移量,值是每一行的内容,每一个键值对调用一次map函数.map函数处理输入的每一行.

　1.2 自定义map函数,写自己的逻辑,对输入的key,value(把每一行解析出的key,value)处理,转换成新的key,value输出.（比如，hello 1,hello 1,world 1）

　1.3 此时系统会进行shuffle操作，将key值相同的map进行合并，生成新的map（如 hello [1,1] world[1])

2.reduce任务处理:

    2.1 reduce中实现自己的业务逻辑。每一个map会调用一个reduce，如hello会调用一次reduce，此时   可用iterator对map进行遍历，输出hello 2。world会调用一次reduce，输出world 1.

    2.2 把reduce的输出保存到新的文件中.
   将ruduce内容写到hdfs中，可得到
   hello 2
   world 1 
   这样处理完毕的数据

在hadoop全局中不会有线程问题,因为hadoop起的是进程,不会有并发问题存在.