hive 修改表的存储格式_Hive表的文件存储格式详解和相关性能分析

hive文件存储格式和创建语句

hive文件存储格式包括以下几类：

1、TEXTFILE

2、SEQUENCEFILE

3、RCFILE

4、ORCFILE(0.11以后出现)

其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；

SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用insert导入SequenceFile,RCFile,ORCFile表中。

1:TEXTFILE格式

默认格式，数据不做压缩，磁盘开销大，数据解析开销大。

可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，

从而无法对数据进行并行操作。

创建一张表user_info_tcreate table if not exists user_info_t(id bigint,username string,password string,sex string) row format delimited fields terminated by '\t' stored as textfile;load data local inpath '/root/userinfo.txt'  into table user_info_t;

(userinfo.txt内容如下一共有74w左右的数据)

1u1p1男

2u2p2男

3u3p3男

4u4p4男

2:SEQUEN