MapReduce执行过程以及job优化手段

Input Split: 输入数据会被划分为若干个输入切片，每个切片由一个Map任务处理。这个划分过程由InputFormat定义，如TextInputFormat用于处理文本文件。

Map阶段:

Map任务启动: 对于每个Map任务，Hadoop集群会分配一个计算节点，该节点加载Map任务所需的代码和数据。
Map函数执行: Map任务执行用户定义的Map函数，处理输入切片的数据，并生成一系列键值对。
Map输出缓冲: Map任务的输出被缓存在内存中，并在一定阈值后，将一部分数据溢写到磁盘。

Shuffle和Sort阶段:

Partitioning: 将Map输出的键值对根据键的哈希值分配到不同的Reduce任务中，以便进行后续的处理。
Shuffling: Reduce任务从Map任务的输出中获取数据，这通常涉及数据的拷贝和网络传输。
Sorting: 每个Reduce任务内部对接收到的数据进行排序。

Reduce阶段:

Reduce任务启动: Reduce任务开始执行用户定义的Reduce函数。
Reduce函数执行: Reduce函数处理排序后的键值对，生成最终的输出。
Reduce输出: Reduce任务的输出被写入HDFS或其他指定位置。
Job完成: 所有的Map和Reduce任务完成后，整个Job完成。输出结果可用于后续的分析或应用。

hadoop job优化手段
1对数据进行压缩
2合并，减少小文件的数量
3在有小表的情况下，尽量使用map join
4合理使用Combiners来减少数据传输和Reduce的负载，以及设置合适的Reduce任务数量。
5优化Partitioner分区的逻辑