序列化:把内存中的对象,转换成字节序列(或其它数据传输协议)以便于存储(持久化)和网络传输。
反序列化:就是将收到的字节序列(或其它数据传输协议)或者是硬盘的持久数据,转换成内存中的对象。
hadoop需要在集群之间进行通讯或RPC调用的时候需要序列化,而且要求序列化要快,而且体积要小,占用带宽要小
为什么不使用Java序列化:Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外信息(各种校验信息,header,继承体系),不便于在网络中高效传输。所以hadoop开发了一套序列化机制(Writable),精简、高效。
自定义bean对象序列化步骤:
(1)实现Writable接口
(2)反序列化时,需要反射调用空参构造函数,所以必须实现空参构造函数
(3)重写序列化方法
(4)重写反序列化方法
(5)反序列化的顺序和序列化的顺序保持一致
(6)想要把结果显示文件中,需要重写toString(),且用"\t"分开
(7)如果需要将bean放在key中传输,需要实现comparable接口,因为shuffle阶段需要对key进行排序。
Hadoop序列化特点:
1)紧凑:高效使用存储空间
2)快速:读写数据的额外开销小
3)可扩展:随着通信协议的升级而升级
4)互操作:支持多种语言的交互