MapReduce架构-序列化

（一）什么是序列化与反序列化

序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 

反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。

（二）为什么要序列化

一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 通过序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。

（三）Java自带的序列化

下面我们来看一个例子：通过代码来定义一个类，并创建它的一个对象，把这个对象保存到文件中（序列化），然后再写代码读取这个文件并还原回来。

java中的序列化需要在定义类的时候实现实现 java.io.Serializable 接口。在序列化时，使用ObjectOutputStream的writeObject方法把类写入某个文件。在反序列化时，使用ObjectInputStream的readObjec方法来还原这个类。

下面是一段示例代码。

先写一个类。

public class Student {

    public Student(String name,int age) {

        this.name = name;

        this.age = age;

    }

    String name;

    int age;

}

在java中，对应的序列化和反序列化的方法是:

让这个类实现 Serializable 接口，也就是在代码中补充implements Serializable。
public class Student implements Serializable {

    // 省略其他...

}

序列化。新建文件输出流对象，并写入要实例化的实例。
   Student student = new Student("xiaohua", 10);

   // java序列化

   ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream("student_java"));

   oos.writeObject(student);

   oos.close();

反序列化。通过文件输入流读入文件，并使用ObjectInputStream来进一步实例化对象，然后调用readObject来生成对象。对应的代码如下

   // 反序列化：将字节序列转换为内存中的对象

   // 1. 创建一个ObjectInputStream对象，构造方法中传入一个InputStream对象

   ObjectInputStream studentJava = new ObjectInputStream(new FileInputStream("student_java"));

   // 2. 使用ObjectInputStream对象中的readObject方法，读取文件中的对象

   Student student1 = (Student) studentJava.readObject();

   System.out.println(student1.name + " " + student1.age);

   // 3. 关闭ObjectInputStream对象

   studentJava.close();

（四）为什么hadoop不用Java的序列化？

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，Header，继承体系等），不便于在网络中高效传输。所以，Hadoop自己开发了一套序列化机制（Writable）。

Hadoop序列化特点：

（1）紧凑 ：高效使用存储空间。

（2）快速：读写数据的额外开销小。

（3）互操作：支持多语言的交互。