hadoop java类型_Hadoop入门（七）之java对应的Hadoop数据类型及自定义类型序列化

首先，我们都知道，Hadoop的读写都是通过流来实现的。在java中想把一个对象通过流进行读写，我们时要把它序列化和反序列化(Serialization、Deserialization)的。那么，Hadoop的对象读写操作也需要序列化—–格式：Writable 。序列化在分布式环境的两大作用：进程间通信，永久存储。

下面，我们说一下Hadoop的数据类型：

Hadoop数据类型，基本上都是Writable接口的实现类。

上一篇，我们提到的数据类型Text对应java中的String(默认utf-8序列)

java基本类型                    Writable实现                            序列化大小(字节)

boolean                            BooleanWritable                               1

byte                                    ByteWritable                                      1

int                                       IntWritable (或VintWritable)          4(1~5)

float                                   FloatWritable                                      4

long                                   LongWritable(或VlongWritable)      8(1~9)

double                              DoubleWritable                                  8

再说一下Writable接口;

§Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.

§Mapper、Reducer的任意Key和Value必须实现Writable接口。

MR的任意key必须实现WritableComparable接口(而Java值对象的比较：一般需要重写toString()，hashCode()，equals()方法)

Writable接口有2个方法：

public interface Writable{

void   write(DataOutpute out) throws IOException;  //把每个对象序列化到输出流

void   readFields(DataInpute in) throws IOException;  //把输入流字节反序列化

}

下面看一下writable接口的完整结构：

下面这个就是自定义数据类型，要实现Writable接口：

下一篇，通过一个自定义类型的实例Demo,去理解自定义类型。

点赞 (0)赏分享 (0)