Hive中的RCFile

Hive中的RCFile是一种按列存储记录的文件格式。RCFile的结构与SequenceFile类似，但是注意，二者并不兼容，不能像读取SequenceFile那样来读取RCFile。

RCFile整体上也是存储了一个个的Key-Value对，其结构为：文件头 + 顺序出现的Key-Value对（每隔几个Key-Value对插入一个同步标记）。相比SequenceFile的文件头，RCFile的文件头要简单一些，只包括：文件类型标识、压缩标记、压缩算法、元数据和同步标记。

再来细看RCFile中的各个Key-Value对。RCFile中的每个Key-Value对按列存储了一组记录的数据，其中Key部分存储记录各列的组织结构，Value部分存储记录的实际列值。

Key部分构成：存储在本Key-Value对中的记录数 + 按列依次出现的多组列结构信息。每组列结构信息包括：存储在Value部分的列数据的长度 + 按存储在本Key-Value对中的记录依次出现的记录的列值的长度。

Value部分是按列依次出现的多组列数据。各组列数据是按存储在本Key-Value对中的记录依次出现的记录的列值。列数据是压缩的或未压缩的，取决于文件头中的压缩标记。

由于同样使用了同步标记，因此RCFile像SequenceFile一样也是适合划分为多个分片并行处理的。