170.Hadoop（六）：MapReduce的join应用，ETL数据清洗，MapReduce开发总结，数据压缩

目录

一、Join应用一

二、Join应用二

三、ETL数据清洗

1.适用场景

2.清洗代码示例

四、MapReduce开发总结（重要）

1.输入数据接口：InputFormat

2.逻辑处理接口：Mapper 

3.Partitioner分区

4.Comparable排序

5.Combiner合并

6.逻辑处理接口：Reducer

7.输出数据接口：OutputFormat

五、hadoop数据压缩

1.压缩的好处和坏处

2.压缩原则

3.压缩算法对比介绍 

4.压缩性能比较

 5.压缩方式的选择

6.每个压缩方式特点

7.压缩在什么节点进行

8.压缩格式以及对应的编码/解码器

9.hadoop中启动压缩的配置设置

10.压缩实现代码

---

一、Join应用一

所谓join，即有多个表需要关联的情况。

1.需求

有一个订单表，字段为：订单id，商品id，商品数量

有一个商品表，字段为：商品id，商品名称

很显然，商品id为关联字段。

在map阶段，我们把订单表中的每一条数据加入，把商品表中的每一条数据加入。然后将所有数据依据商品id排序。

然后再reduce阶段，遍历订单列表的数据，将商品id根据商品列表的map替换为商品名称。

2.文件如下

3.代码实现

（1）目录