什么是序列化
- 序列化就是把内存中的对象转化成字节序列(或者其他传输协议)以便于存储(持久化)和网络传输
- 反序列化就是将字节序列(或者其他传输协议)转换成内存中的对象
序列化的目的
- 序列化是为了便于网络间的数据传输
Java序列化 VS Hadoop序列化
Java序列化(Serializable)是一个重量级的序列化框架,对象被序列化后会附带很多额外的信息(各种校验信息、header、继承体系等),不便于在网络中高效传输。
Hadoop序列化(Writable)具有如下特点:
- 紧凑:紧凑的格式便于我们充分利用网络带宽
- 快速:尽量减少序列化与反序列化的性能开销
- 可扩展:协议需要引进
- 互操作:支持不同语言的客户端和服务器交互
自定义对象实现Writable序列化
1. 必须实现Writable接口
2. 必须要有空参构造函数,因为在反序列化时,需要反射调用空参构造函数
public ClassA() {
super();
}
3. 重写序列化方法
@Override
public void write(DataOutput dataOutput) throws IOException {
dataOutput.writeUTF(this.uuid);
dataOutput.writeUTF(this.path);
dataOutput.writeUTF(this.idType);
}
4. 反序列化和序列化顺序完全一致
@Override
public void readFields(DataInput dataInput) throws IOException {
this.uuid = dataInput.readUTF();
this.path = dataInput.readUTF();
this.idType = dataInput.readUTF();
}
5. 如果想将结果显示在文件中,需要重写toString()方法
@Override
public String toString() {
return this.uuid + "," + this.path + "," + this.idType;
}
6. 如果需要将其作为key,则还需要实现comparable接口,用于shuffle时排序依据
@Override
public int compareTo(MyKey o) {
int ret = this.idType.compareTo(o.idType);
if (ret != 0) {
return ret;
}
return this.uuid.compareTo(o.uuid);
}
常用数据序列化类型表
Java类型 | Hadoop Writable类型 |
boolean | BooleanWritable |
byte | ByteWritable |
int | IntWritable |
float | FloatWritable |
long | LongWritable |
double | DoubleWritable |
String | Text |
map | MapWritable |
array | ArrayWritable |