Hadoop为什么要序列化

序列化:把内存中的对象,转换成字节序列(或其它数据传输协议)以便于存储(持久化)和网络传输。
反序列化:就是将收到的字节序列(或其它数据传输协议)或者是硬盘的持久数据,转换成内存中的对象。
hadoop需要在集群之间进行通讯或RPC调用的时候需要序列化,而且要求序列化要快,而且体积要小,占用带宽要小
为什么不使用Java序列化:Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外信息(各种校验信息,header,继承体系),不便于在网络中高效传输。所以hadoop开发了一套序列化机制(Writable),精简、高效。

自定义bean对象序列化步骤:
(1)实现Writable接口
(2)反序列化时,需要反射调用空参构造函数,所以必须实现空参构造函数
(3)重写序列化方法
(4)重写反序列化方法
(5)反序列化的顺序和序列化的顺序保持一致
(6)想要把结果显示文件中,需要重写toString(),且用"\t"分开
(7)如果需要将bean放在key中传输,需要实现comparable接口,因为shuffle阶段需要对key进行排序。

Hadoop序列化特点:
1)紧凑:高效使用存储空间
2)快速:读写数据的额外开销小
3)可扩展:随着通信协议的升级而升级
4)互操作:支持多种语言的交互

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值