HIVE数据导入和提效一点心得
Hive目前支持多种文件存储类型,默认的txtfile本身加载速度最快,但是查询效率最低。由于数据仓库是一次写入,多次读。所以大数据更重视查询效率,而RCFILE这种文件类型查询效率是很可观的。相应的它加载速度并不高。另外还不支持直接load data。常用的方法是insert into table select * from xx.(xx表可以是txtfile类型)
create table if not exists rcfile_table(
site string,
url string,
pv bigint,
label string)
row format delimited
fields terminated by ‘\t’
stored as rcfile;
插入数据操作:
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;
insert overwrite table rcfile_table select * from textfile_table;