MR -- Partition分区

一、Partition 分区介绍

1、问题由来
要求将统计结果按照条件输出到不同文件中(分区)，比如：将统计结果按照手机归属地不同省份输出到不同文件中(分区)。

2、默认 Partitioner 分区

默认分区是根据 key 的 hashCode 对 ReduceTasks 个数取模得到的。用户没法控制哪个 key 存储到哪个分区。

3、自定义 Partitioner 步骤
(1) 自定义类继承 Partitioner，重写 getPartition() 方法

(2) 在 job 驱动中，设置自定义 Partitioner

(3) 自定义 Partition 后，要根据自定义 Partitioner 的逻辑设置相应数量的 ReduceTask

4、分区总结
(1) 如果 ReduceTask 的数量 > getPartition 的结果数，则会产生几个空的输出文件 part-r-000xx。
(2) 如果 1 < ReduceTask 的数量 < getPartition 的结果数，则有一部分分区数会无处放，会报错。
(3) 如果 ReduceTask 的数量 = 1，则不管 MapTask 端输出多少个分区文件，最终结果都会交给这一个 ReduceTask，最终也就只会产生一个结果文件 part-r-00000。

二、Partition 分区案例

1、需求
将统计结果按照手机归属地不同省份输出到不同文件中(分区)。

2、数据说明
(1) 输入数据

13470253144	180	180	360
13509468723	7335	110349	117684
13560439638	918	4938	5856
13568436656	3597	25635	29232
13590439668	1116	954	2070
13630577991	6960	690	7650
13682846555	1938	2910	4848
13729199489	240	0	240
13736230513	2481	24681	27162
13768778790	120	120	240
13846544121	264	0	264
13956435636	132	1512	1644
13966251146	240	0	240
13975057813	11058	48243	59301
13992314666	3008	3720	6728
15043685818	3659	3538	7197
15910133277	3156	2936	6092
15959002129	1938	180	2118
18271575951	1527	2106	3633
18390173782	9531	2412	11943
84188413	4116	1432	5548

(2) 期望输出数据
手机号136、137、138、139开头都分别放到一个独立的4个文件中，其他开头的放到一个文件中。

3、流程详解

4、编写代码
(1) 编写自定义 FlowBean

package phonedatasort;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;

public class FlowBean implements WritableComparable<FlowBean>{
   
	private long upFlow; // 上行流量
	private long downFlow; // 下行流量
	private long sumFlow;  // 总流量

	public FlowBean() {
   
		super();
	}
	
	public FlowBean(long upFlow, long downFlow) {
   
		super();
		this.upFlow = upFlow;
		this.downFlow = downFlow;
		sumFlow = upFlow + downFlow;
	}

	// 序列化
	@Override
	public void write(DataOutput out) throws IOException {
   
		out.writeLong(upFlow);
		out.writeLong(downFlow);
		out.writeLong(sumFlow);
	}

	// 反序列化
	@Override
	public void readFields(DataInput in) throws IOException {
   
		upFlow = in.readLong(