Hadoop序列化与Java序列化的区别

hadoop权威指南5.4.3

什么时候需要序列化?

当 Java 对象需要在网络上传输 或者 持久化存储到文件中时,就需要对
Java 对象进行序列化处理。

什么是序列化?

序列化是指将结构化对象转化成字节流,以便在网络上传输,或是将结构化对象写入本地磁盘的过程。

反序列化是指将字节流转回结构化对象的逆序列化操作

为什么hadoop不用Java提供的序列化?

hadoop不使用Java的序列化(object serialization) 是因为Java的序列化太过重量级,输出结果太复杂,他会输出非常多的信息,包括包名,类名,数据的类型等等,在数据量庞大的hadoop框架是不合适的。

Java objectserialization实现的序列化
👇Java中的序列化结果
在这里插入图片描述

Hadoop序列化的优点:

紧凑:充分利用网络带宽

快速:节省网络带宽,减少序列化反序列化开销

可扩展:支持通信协议升级

互操作:支持多语言交互

Writable接口

序列化与反序列化通过在自定义数据中实现Writable接口来实现

Writable接口封装了两个方法

write(写入DataOutput二进制流)和readFields(读取DataOutput二进制流)

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值