Hive查询性能优化——物化视图（materialized view）

1. 背景：

在一次大表查询中，查询速度非常慢,插叙时间以分钟为单位，而生产需求要达到10s以内。造成这个问题的原因有多种，性能调优的方式也有多种，这里记录一下其中一种方案，采用物化视图（Materialized View)。

2. 介绍

物化视图
概念： 预先计算和存储复杂查询结果
好处： 便于后续查询能够快速得到结果，提升查询性能。
坏处： 存在数据一致性问题，因为是预先计算和查询。

3. 普通视图

create view view_dim_ad_info as select * from dim_ads_info_full;
describe view_dim_ad_info;
select * from view_dim_ad_info;

查询耗时：

4. 物化视图

前提：Hive中的物化视图只能对事务表建立，外表不行，需要开启事务。

hive-site.xml中添加属性

<property> 
	<name>hive.support.concurrency</name> 
	<value>true</value>
</property>
<property> 
	<name>hive.txn.manager</name> 
	<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>

创建事务表并从外表导入数据

-- 创建事务表
CREATE TABLE IF NOT EXISTS dim_ad_full_transaction (
product_id STRING,
product_name STRING,
product_price DECIMAL(16,2),
material_id STRING,
material_url STRING,
group_id STRING
)
partitioned by (dt string)
STORED AS ORC
TBLPROPERTIES ('transactional'='true');

DESCRIBE  dim_ad_full_transaction;

-- 导入外部表数据
INSERT INTO TABLE dim_ad_full_transaction
SELECT
product_id,
product_name,
product_price,
material_id ,
material_url ,
group_id ,
dt
FROM dim_ads_info_full;

创建物化视图：

-- 创建物化视图
create materialized view mater_view_dim_ad_info as select * from dim_ad_full_transaction;
describe mater_view_dim_ad_info;
SELECT * FROM mater_view_dim_ad_info;

查询耗时

5. 总结

这里我测试的数据量比较小，所以优化不是很明显，但是遇到超大数据的表，查询的性能提升还是非常明显的，尤其是对于聚合场景。