一、Partition 分区介绍
1、问题由来
要求将统计结果按照条件输出到不同文件中(分区),比如:将统计结果按照手机归属地不同省份输出到不同文件中(分区)。
2、默认 Partitioner 分区
默认分区是根据 key 的 hashCode 对 ReduceTasks 个数取模得到的。用户没法控制哪个 key 存储到哪个分区。
3、自定义 Partitioner 步骤
(1) 自定义类继承 Partitioner,重写 getPartition() 方法
(2) 在 job 驱动中,设置自定义 Partitioner
(3) 自定义 Partition 后,要根据自定义 Partitioner 的逻辑设置相应数量的 ReduceTask
4、分区总结
(1) 如果 ReduceTask 的数量 > getPartition 的结果数,则会产生几个空的输出文件 part-r-000xx。
(2) 如果 1 < ReduceTask 的数量 < getPartition 的结果数,则有一部分分区数会无处放,会报错。
(3) 如果 ReduceTask 的数量 = 1,则不管 MapTask 端输出多少个分区文件,最终结果都会交给这一个 ReduceTask,最终也就只会产生一个结果文件 part-r-00000。
二、Partition 分区案例
1、需求
将统计结果按照手机归属地不同省份输出到不同文件中(分区)。
2、数据说明
(1) 输入数据
13470253144 180 180 360
13509468723 7335 110349 117684
13560439638 918 4938 5856
13568436656 3597 25635 29232
13590439668 1116 954 2070
13630577991 6960 690 7650
13682846555 1938 2910 4848
13729199489 240 0 240
13736230513 2481 24681 27162
13768778790 120 120 240
13846544121 264 0 264
13956435636 132 1512 1644
13966251146 240 0 240
13975057813 11058 48243 59301
13992314666 3008 3720 6728
15043685818 3659 3538 7197
15910133277 3156 2936 6092
15959002129 1938 180 2118
18271575951 1527 2106 3633
18390173782 9531 2412 11943
84188413 4116 1432 5548
(2) 期望输出数据
手机号136、137、138、139开头都分别放到一个独立的4个文件中,其他开头的放到一个文件中。
3、流程详解
4、编写代码
(1) 编写自定义 FlowBean
package phonedatasort;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.WritableComparable;
public class FlowBean implements WritableComparable<FlowBean>{
private long upFlow; // 上行流量
private long downFlow; // 下行流量
private long sumFlow; // 总流量
public FlowBean() {
super();
}
public FlowBean(long upFlow, long downFlow) {
super();
this.upFlow = upFlow;
this.downFlow = downFlow;
sumFlow = upFlow + downFlow;
}
// 序列化
@Override
public void write(DataOutput out) throws IOException {
out.writeLong(upFlow);
out.writeLong(downFlow);
out.writeLong(sumFlow);
}
// 反序列化
@Override
public void readFields(DataInput in) throws IOException {
upFlow = in.readLong();
downFlow