Hadoop 源代码分析(三)对象序列化

转载 2013年12月05日 09:45:44
由于Hadoop 的MapReduce 和HDFS 都有通信的需求,需要对通信的对象进行序列化。Hadoop 并没有采用Java 的序列化,而是
引入了它自己的系统。
org.apache.hadoop.io 中定义了大量的可序列化对象,他们都实现了Writable 接口。实现了Writable 接口的一个典型例子如
下:
Java 代码
1. public class MyWritable implements Writable {
2. // Some data
3. private int counter;
4. private long timestamp;
5.
6. public void write(DataOutput out) throws IOException {
7. out.writeInt(counter);
8. out.writeLong(timestamp);
9. }
10.
11. public void readFields(DataInput in) throws IOException {
12. counter = in.readInt();
13. timestamp = in.readLong();
14. }
15.
16. public static MyWritable read(DataInput in) throws IOException {
17. MyWritable w = new MyWritable();
18. w.readFields(in);
19. return w;
20. }
21.}
其中的write 和readFields 分别实现了把对象序列化和反序列化的功能,是Writable 接口定义的两个方法。下图给出了庞大的
org.apache.hadoop.io 中对象的关系。
Hadoop 源代码分析(三)对象序列化 - manny - 你的目标-卓越非凡
 这里,我把ObjectWritable 标为红色,是因为相对于其他对象,它有不同的地位。当我们讨论Hadoop 的RPC 时,我们会提到RPC
上交换的信息,必须是Java 的基本类型,String 和Writable 接口的实现类,以及元素为以上类型的数组。ObjectWritable 对
象保存了一个可以在RPC 上传输的对象和对象的类型信息。这样,我们就有了一个万能的,可以用于客户端/服务器间传输的
Writable 对象。例如,我们要把上面例子中的对象作为RPC 请求,需要根据MyWritable 创建一个ObjectWritable,
ObjectWritable 往流里会写如下信息
对象类名长度,对象类名,对象自己的串行化结果
这样,到了对端,ObjectWritable 可以根据对象类名创建对应的对象,并解串行。应该注意到,ObjectWritable 依赖于WritableFactories,那存
储了Writable 子类对应的工厂。我们需要把MyWritable 的工厂,保存在WritableFactories 中(通过WritableFactories.setFactory)。

相关文章推荐

hadoop自定义对象序列化Writable和WritableComparable

如果需要将自定义的bean放在value中传输,则实现Writable接口,自定义的bean实现 的接口应该是:public class FlowBean implements W...

hadoop的序列化分析及一个自定义Writable的简单例子

序列化分析:序列化和反序列化就是结构化对象和字节流之间的转换,主要用在内部进程的通讯和持久化存储方面。 Writable的简单例子,用一个扑克牌的例子,清晰的阐述了如何去创建一个自定义的Writa...

java对象的序列化

Java对象序列化的秘密.pdf

  • 2013-04-18 15:15
  • 2.85MB
  • 下载

Hadoop序列化与Writable源码分析

序列化的概念      1.序列化(Serialization)是指把结构化对象转化为字节流。      2.反序列化(Deserialization)是序列化的逆过程,即把字节流转回结构化对象 ...

JAVA_对象序列化

  • 2012-08-16 13:02
  • 51KB
  • 下载

java基础 对象序列化

  • 2011-11-21 08:59
  • 304KB
  • 下载

hadoop源码研读之路(三)----序列化

简单来说,序列化就是将对象(实例)转换为字符流(字符数组)的过程,转换后的字符流可用于网络传输或写入磁盘;相对的,反序列化就是将字符流转换成对象的过程。Hadoop有自己的序列化实现,并已提取为Avr...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)