最近发现hive库中的数据都是没有压缩的,每次运行超级慢,现在调优成rcFile格式,具体流程如下:
(1)建表时添加语句:STORED AS RCFILE
(2)在sql语句中加入配置参数:
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
最近发现hive库中的数据都是没有压缩的,每次运行超级慢,现在调优成rcFile格式,具体流程如下:
(1)建表时添加语句:STORED AS RCFILE
(2)在sql语句中加入配置参数:
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;