169.Hadoop（五）：MapReduce整体流程，shuffle机制，InputFormat数据输入，分区，排序，合并，OutputFormat数据输出

目录

一、InputFormat数据输入

1.InputFormat

 （1）切片与MapTask并行度决定机制

2.job提交流程源码分析

3.FileInputFormat切片源码分析（input.getSplits(job)）

4.FileInputFormat切片机制

（1）机制

（2）源码中计算切片大小的公式

（3）获取切片信息的api

（4）FileInputFormat实现类

5.TextInputFormat

6.CombineTextInputFormat切片机制

（1）应用场景

（2）虚拟存储切片最大值设置

（3）对应代码

二、MapReduce整体切片流程

三、Shuffle机制

四、分区partition

1.使用场景

2.默认的分区方式：HashPartitioner

3.自定义分区步骤

4.分区总结

5.分区示例代码

（1）路径

（2）inputflow文件

（3）FlowBean

（4）FlowMapper

（5）ProvincePartitioner

（6）FlowMapper

（7）FlowDriver

（8）输出结果

 五、排序

1.排序概述

2.排序的场景

3.排序的分类

4.自定义排序WritableComparable

5.排序案例代码

（1）需求

（2）分析

（3）代码示例

 六、Combiner合并

1.基本概念

2.Combiner合并的两种方式

3.Combiner具体实现代码

七、OutputFormat数据输出

1.OutputFormat接口实现类

2.自定义OutputFormat实现代码

---

一、InputFormat数据输入

1.InputFormat

 （1）切片与MapTask并行度决定机制

一个job的Map阶段，一个大的文件会交给多个MapTask来并行处理，但是MapTask设置多少个才算合理呢？

• 数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。
• 数据切片：数据切片只是在逻辑上对输入的文件进行分片

数据切片是MapReduce程序计算输入数据的单元ÿ