Hadoop中的SequenceFile

SequenceFile是在Hadoop中常用的一种文件格式。文件中存储的是一个个的Key-Value对。根据是否使用压缩以及压缩内容的不同，SequenceFile提供三种Key-Value对存储方式。

1）不压缩。文件结构为：文件头 + 顺序出现的各个未经压缩的Key-Value对（每隔若干Key-Value对插入一个16字节的同步标记）。

2）分记录压缩。文件结构为：文件头  + 顺序出现的各个压缩了Value部分的Key-Value对（每隔若干Key-Value对插入一个16字节的同步标记）。

3）分数据块压缩。文件结构为：文件头 + 顺序出现的各个数据块（每隔若干数据块插入一个16字节的同步标记），每个数据块包含多个Key-Value对，其中各个Key-Value对的Key部分和Value部分分别被集中起来统一压缩。

以上三种存储方式使用相同结构的文件头。文件头中存储的信息包括：文件类型标记、Key的类型、Value的类型、压缩标记、压缩方式、压缩算法、元数据、同步标记。

使用了同步标记的SequenceFile适合划分为多个分片并行处理，但是每个并行任务需要自行根据同步标记识别分片边界，避免数据重叠。