HDFS之SequenceFile和MapFile

Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源(每一个小文件占用一个Block,每一个block的元数据都存储在namenode的内存里)。解决办法通常是选择一个容器，将这些小文件组织起来统一存储。HDFS提供了两种类型的容器，分别是SequenceFile和MapFile。

一、SequenceFile

SequenceFile的存储类似于Log文件，所不同的是Log File的每条记录的是纯文本数据，而SequenceFile的每条记录是可序列化的字符数组。

SequenceFile可通过如下API来完成新记录的添加操作:

        fileWriter.append(key,value)

可以看到，每条记录以键值对的方式进行组织，但前提是Key和Value需具备序列化和反序列化的功能

Hadoop预定义了一些Key Class和Value Class，他们直接或间接实现了Writable接口，满足了该功能，包括：

Text                                等同于Java中的StringIntWritable                   等同于Java中的IntBooleanWritable        等同于Java中的Boolean        .        .

在存储结构上，SequenceFile主要由一个Header后跟多条Record组成，如图所示：

Header主要包含了Key classname，Value classname，存储压缩算法，用户自定义元数据等信息，此外，还包含了一些同步标识，用于快速定位到记录的边界。

每条Record以键值对的方式进行存储，用来表示它的字符数组可依次解析成：记录的长度、Key的长度、Key值和Value值，并且Value值的结构取决于该记录是否被压缩。

数据压缩有利于节省磁盘空间和加快网络传输，SeqeunceFile支持两种格式的数据压缩，分别是：record compression和block compression。

record compression如上图所示，是对每条记录的value进行压缩

sync：同步点。同步点是指当数据读取的实例出错后能够再一次与记录边界同步的数据流中的一个位置。同步点是由SequenceFile.Writer记录的，后者在顺序文件写入过程中插入一个特殊项以便几个记录便有一个同步标识（默认情况下，两个同步点之间的距离大于或者等于100*SYNC_SIZE，即2000字节），同步点只能位于一条Record的前面。

block compression是将一连串的record组织到一起，统一压缩成一个block，如图所示：

block信息主要存储了：块所包含的记录数、每条记录Key长度的集合、每条记录Key值的集合、每条记录Value长度的集合和每条记录Value值的集合

注：每个block的大小是可通过io.seqfile.compress.blocksize属性来指定的

在块压缩的SequenceFile中，每一个Block之前都有一个同步点。

读取SequenceFile：

如果使用的是Writable类型，那么通过键和值作为参数的next()方法可以将数据流中的下一条键值对读入变量中：

 public synchronized boolean next(Writable key, Writable val)

对于其他的，非Writable类型的序列化框架（比如 Apache Thrift），则需要使用下述方法：

public Object next(Object key) throws EOExcetion

public Object getCurrentValue(Object val) throws Exception。

在上述情况下，需要确保在 io.servializations属性中已经设置了你想使用的序列化框架。

在顺序文件中搜索给定位置有两种方法，

第一种是调用 seek方法，由此可以读取文件中的给定位置 ：

reader.seek(position)

但是如果给定的位置不是记录的边界，则在调用next()方法时发生错误，IOExcetion。

第二种是通过同步点找到记录边界。SequenceFile.Reader 对象的sync(long position)方法可以将读取位置定位到position之后的下一个同步点。

reader.sync(position)

示例：SequenceFile读/写 操作

[java] view plaincopy

1. Configuration conf=