Hadoop中的序列化Writable

什么是序列化

• 序列化就是把内存中的对象转化成字节序列（或者其他传输协议）以便于存储（持久化）和网络传输
• 反序列化就是将字节序列（或者其他传输协议）转换成内存中的对象

 

序列化的目的

• 序列化是为了便于网络间的数据传输

 

Java序列化 VS Hadoop序列化

        Java序列化（Serializable）是一个重量级的序列化框架，对象被序列化后会附带很多额外的信息（各种校验信息、header、继承体系等），不便于在网络中高效传输。

Hadoop序列化（Writable）具有如下特点：

• 紧凑：紧凑的格式便于我们充分利用网络带宽
• 快速：尽量减少序列化与反序列化的性能开销
• 可扩展：协议需要引进
• 互操作：支持不同语言的客户端和服务器交互

 

自定义对象实现Writable序列化

1. 必须实现Writable接口

2. 必须要有空参构造函数，因为在反序列化时，需要反射调用空参构造函数

public ClassA() {
    super();
}

3. 重写序列化方法

@Override
public void write(DataOutput dataOutput) throws IOException {
    dataOutput.writeUTF(this.uuid);
    dataOutput.writeUTF(this.path);
    dataOutput.writeUTF(this.idType);
}

4. 反序列化和序列化顺序完全一致

@Override
public void readFields(DataInput dataInput) throws IOException {
    this.uuid = dataInput.readUTF(); 
    this.path = dataInput.readUTF();
    this.idType = dataInput.readUTF();
}

5. 如果想将结果显示在文件中，需要重写toString()方法

@Override
public String toString() {
    return this.uuid + "," + this.path + "," + this.idType;
}

6. 如果需要将其作为key，则还需要实现comparable接口，用于shuffle时排序依据

@Override
public int compareTo(MyKey o) {
    int ret = this.idType.compareTo(o.idType);
    if (ret != 0) {
        return ret;
    }
    return this.uuid.compareTo(o.uuid);
}

 

常用数据序列化类型表

Java类型	Hadoop Writable类型
boolean	BooleanWritable
byte	ByteWritable
int	IntWritable
float	FloatWritable
long	LongWritable
double	DoubleWritable
String	Text
map	MapWritable
array	ArrayWritable