java map 实现 序列化,MapReduce序列化

序列化就是把内存中的对象转换成字节序列以便于存储到磁盘(持久化)和网络传输。

反序列化就是将字节序列或者是持久化的数据转换成内存中的对象。

内存中的对象只能本地进程使用，断掉后就消失了，也不能被发送到网络上的另一台机器，序列化可以将内存中的对象发送到远程机器。由于Java本身的序列化框架(Serializable)太重，序列化的对象包含了很多额外信息，不便于在网络中高效传输，Hadoop开发了自己的序列化机制(Writable)。

实现自定义bean对象的序列化

步骤如下：

必须实现Writable接口；

反序列化时，需要反射调用空构造参数，所以必须有空参构造；

public FlowBean() {

super();

}

重写序列化方法；

@Override

public void write(DataOutput out) throws IOException {

out.writeLong(upFlow);

out.writeLong(downFlow);

out.writeLong(sumFlow);

}

重写反序列化方法；

@Override

public void readFields(DataInput in) throws IOException {

upFlow = in.readLong();

downFlow = in.readLong();

sumFlow = in.readLong();

}

注意：反序列化的顺序和序列化的顺序完全一致。

要想把结果显示在文件中，需要重写toString()方法，可用“\t“分开；

如果需要将自定义的Bean放在Key中传输，还需要实现Comparable接口，因为MapReduce框架中的Shuffle过程要求必须对key必须能排序。

@Override

public int compareTo(FlowBean o) {

return this.sumFlow > o.getSumFlow() ? -1 : 1;

}

自定义序列化

统计txt中每个电话号的上行流量、下行流量和总流量。数据示例如下，倒数第二和第