大数据中Hadoop序列化和反序列化及自定义bean对象实现序列化?

Hadoop序列化和反序列化及自定义bean对象实现序列化?

1）序列化和反序列化

序列化就是把内存中的对象 ，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。

反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后 ，会附带很多额外的信息 （ 各种校验信息 ，header，继承体系等），不便于在网络中高效传输。所以 ，hadoop自己开发了一套序列化 机 制（Writable），精简、高效。

2） 自定义bean对象要想序列化传输步骤及注意事项：

（1）必须实现Writable接口

（2）反序列化时 ，需要反射调用空参构造函数 ，所以必须有空参构造

（3）重写序列化方法

（4）重写反序列化方法

（5）注意反序列化的顺序和序列化的顺序完全一致

（6）要想把结果显示在文件中 ，需要重写toString() ，且用”\t”分开 ，方便后续用 （7）如果需要将自定义的bean放在key中传输 ，则还需要实现comparable接口 ，因为mapreduce框中 的 shuffle过程一定会对key进行排序