Hive存储格式

hive的存储格式

hive的存储格式分为两大类：一类纯文本文件，一类是二进制文件存储。

第一类： 纯文本文件存储

textfile: 纯文本文件存储格式，不压缩，也是hive的默认存储格式，磁盘开销大，数据解析开销大
复制代码

第二类：二进制文件存储

- sequencefile:
    会压缩，不能使用load方式加载数据
- parquet:
    会压缩，不能使用load方式加载数据
- rcfile:
    会压缩，不能load。查询性能高，写操作慢，所需内存大，计算量大。此格式为行列混合存储，hive在该格式
    下，会尽量将附近的行和列的块存储到一起。
- orcfile:rcfile的升级版

复制代码

存储格式的配置项

<property>
    <name>hive.default.fileformat</name>
    <value>TextFile</value>
    <description>
    Expects one of [textfile, sequencefile, rcfile, orc].
    Default file format for CREATE TABLE statement. Users can explicitly override it by CREATE TABLE