MapReduce运行流程

一、原理
分而治之，一个大任务分成多个小的子任务(map)，并行执行后，合并结果(reduce)

二、MapReduce运行流程
1、基本概念
a、Job & Task 一个job分为多个Task Task又分为MapTask和ReduceTask
b、JobTracker
c、TaskTracker

JobTracker的角色：
a、作业调度
b、分配任务 监控任务的执行进度
c、监控TaskTracker的状态
TaskTracker的角色
a、执行任务
b、汇报任务状态

2、MapReduce作业执行过程

3、MapReduce容错机制
a、重复执行(一般默认最多重复4次)
b、推测执行

4、应用案例
a、WorkCount单词计数：
计算文件中出现每个单词的频数 输入结果按照字母顺序进行排序
如：
hello world bye world 结果： bye 3
hello hadoop bye hadoop hello 3
bye hadoop hello hadoop hadoop 4
world 2


https://www.imooc.com/video/8034 源码
https://www.imooc.com/video/8086

步骤：

1. 编写WordCount.java 包含Mapper类和Reducer类
2. 编译 WordCount.java javac -classpath
3. 打包 jar -cvf WordCount.jar classes/*