hive优化-文件格式-rcfile-textfile-seqfile

[数据文件]
1.文件格式，hive支持TEXTFILE, SEQUENCEFILE, RCFILE, ORC, and PARQUET.
修改文件格式:
//创建表
CREATE TABLE… STORED AS <File_Format>
//修改表指定格式
ALTER TABLE… [PARTITION partition_spec] SET FILEFORMAT <File_Format>
//设置默认的表格式
SET hive.default.fileformat=<File_Format>


2.TextFile
文本文件，可以压缩，lzo,...Bzip2压缩文本压缩比较大，时间长，可切割,如果压缩文件不可切割，
则由一个map处理大文件。


3.SequenceFile
序列文件，kv对，格式紧凑。适合mr的output，可压缩可切割。
该文件和text文件都行方式存储。反之，rcFile/orc/parquet文件格式可以列存储。
SET hive.exec.compress.output=true;
SET io.seqfile.compression.type=BLOCK;

4.RCFile
Record Columnar File.
kv存储，类似于sequencefile，将数据文件水平切割多个组。
若干group存放在一个hdfs中，先保存所有行的第一列，第二列，以此类推。
该文件可切割.可以跳过不相关部分，更快得到数据，成本更低。
CREATE TABLE emp_rc
(
name string,
dept_num int,
salary float 
)
ROW FORMAT DELIMITED
STORED AS rcfile;


insert into emp_rc select * from employee ;


5.ORC
Optimized Row Columnar
RCFile增强版。
支持的大数据块(256M).
和rcfile的不同是使用特殊的编码器感知数据类型，并依据不同的类型进行压缩优化。
同时也存储了基于column的一些基本的统计(MIN, MAX, SUM, and COUNT)信息,还有轻量
级索引.
支持范围较窄，只有hive和pig。

//不靠谱
create table emp_orc like employee ;
ALTER TABLE emp_orc SET FILEFORMAT orc ;


//靠谱
CREATE TABLE emp_orc
(
name string,
dept_num int,
salary float 
)
ROW FORMAT DELIMITED
STORED AS orc;
insert into emp_orc select * from employee ;


6.parquet
类似于orc，相对于orc文件格式，hadoop生态系统中大部分工程都支持parquet文件。


//靠谱
CREATE TABLE emp_par
(
name string,
dept_num int,
salary float 
)
ROW FORMAT DELIMITED
STORED AS parquet;


insert into emp_orc select * from employee ;