Hive调优

Hive调优--存储和压缩方式

压缩方式

Hive压缩方式:
    概述:
        压缩方式就类似于windows的压缩包, 可以降低传输, 提高磁盘利用率.
    区分压缩协议好坏的参考维度:
        1. 压缩比, 即: 压缩后文件大小.
        2. 解压速度, 即: 读的速度.
        3. 压缩速度, 即: 写的速度.
    推荐使用:
        GZIP:       压缩后文件相对较小, 压缩 和 解压速度相对较慢.
        Snappy:     压缩后文件相对大一点, 压缩 和 解压速度非常快.
    问题: 建表的时候, 如何指定压缩方式呢?
    答案: tblproperties('com.precess'='snappy');

 存储方式

2. Hive表存储方式
    概述:
        分为 行存储 和 列存储两种.
    具体划分:
        行存储: TextFile(默认), SequenceFile
        列存储: ORC(推荐), Parquet
            行存储 和 列存储的区别?
        行存储:
            优点:  select * 效率高.
            缺点:  select 列 效率低,  每列数据类型不一致, 密集度较低, 占用资源较多(CPU, 磁盘, 内存)
        列存储:
            优点: select 列 效率高,  每列数据类型一致, 密集度较高, 占用资源较少(CPU, 磁盘, 内存)
            缺点: select * 效率低.
    结论:
        以后建表, 不知道具体如何选择的时候, 推荐: orc(列存储) + snappy(压缩协议)

 代码演示

1. 开启hive的压缩方式.

--开启hive支持中间结果的压缩方案
set hive.exec.compress.intermediate=true ;
--开启hive支持最终结果压缩
set hive.exec.compress.output=true;

--开启MR的mapper端压缩操作
set mapreduce.map.output.compress=true;
--设置mapper端压缩的方案
set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;
-- 开启MR的reduce端的压缩方案
set mapreduce.output.fileoutputformat.compress=true;

-- 设置reduce端压缩的方案
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
--设置reduce的压缩类型
set mapreduce.output.fileoutputformat.compress.type=BLOCK;

2.切库.

use dy;
show tables;

3. 建表: 默认压缩协议(无) + 默认的存储方式(textfile)