hive视图和物化视图

最新推荐文章于 2024-07-09 02:08:50 发布

m0_75280426

最新推荐文章于 2024-07-09 02:08:50 发布

阅读量764

点赞数 21

文章标签： hive hadoop 数据仓库

本文链接：https://blog.csdn.net/m0_75280426/article/details/139327685

版权

一、hive中的视图

使用过mysql视图的同学对视图的概念应该不陌生，视图就是一种虚拟表，可以临时存储查询的数据，hive中也提供了视图，hive中的视图具有下面的特点：

Hive中的视图（view）是一种虚拟表，只保存定义，不实际存储数据；
通常从真实的物理表查询中创建生成视图，也可以从已经存在的视图上创建新视图；
创建视图时，将冻结视图的架构，如果删除或更改基础表，则视图将失败；

视图是用来简化操作的，不缓冲记录，也没有提高查询性能

二、hive视图语法与操作

2.1 数据准备

在test数据库下有下面的几张表

使用t_usa_covid19这张表，并且插入部分数据

2.2 创建视图

2.2.1 创建普通的视图

create view v_usa_covid19 as select count_date, county,state,deaths from t_usa_covid19 limit 10;

创建成功后，可以使用 : show views 查看视图；

2.2.2 基于视图创建视图

以上面创建的视图的基础上再次创建一个视图

create view v_usa_covid19_from_view as select * from v_usa_covid19 limit 5;

2.3 查看视图定义

show create table 视图名称;

2.4 使用视图

当视图创建出来之后就可以基于视图查询数据了，比如使用第一个视图查询数据

select * from v_usa_covid19;

就可以正常返回数据了；

注意

视图是虚拟的，只能用于查询相关操作，不能向视图中插入数据

2.5 删除视图

drop 视图名

2.6 更改视图属性

给视图增加一个备注名称

alter view v_usa_covid19 set TBLPROPERTIES ('comment' = 'This is my view');

2.7 更改视图定义

只查询指定的某些字段

alter view v_usa_covid19 as  select county,deaths from t_usa_covid19 limit 5;

三、使用视图的好处

3.1 只将真实表中特定的列数据提供给用户，保护数据隐式

下面这个例子使用视图来限制数据访问可以用来保护信息不被随意查询

3.1.1 创建一个表

create table userinfo(firstname string, lastname string, ssn string, password string);

3.1.2 基于这个表创建一个视图

该视图只返回部分字段，比如密码比较隐私就不返回；

create view safer_user_info as select firstname, lastname from userinfo;

网址:yii666.com

3.2 降低查询的复杂度，优化查询语句

如下为一个嵌套子查询语句

from (

select * from people join cart

on(cart.pepople_id = people.id) where firstname = 'join' ) a select a.lastname where a.id = 3;

利用视图，可以将内部的关联查询封装为一个视图

create view shorter_join as select * from people join cart n (cart.pepople_id = people.id) where firstname = 'join';

有了视图之后，就可以基于视图简化查询语句了

select lastname from shorter_join where id = 3;

四、hive物化视图

4.1 hive 物化视图概念

物化视图（Materialized View）是一个包括查询结果的数据库对像，可以用于预先计算并保存表连接或聚集等耗时较多的操作的结果。在执行查询时，就可以避免进行这些耗时的操作，而从快速的得到结果。

使用物化视图的目的就是通过预计算，提高查询性能，当然需要占用一定的存储空间。

4.1.1 hive物化视图特点

Hive3.0开始尝试引入物化视图，并提供对于物化视图的查询自动重写机制（基于Apache Calcite实现）；
Hive的物化视图还提供了物化视图存储选择机制，可以本地存储在Hive，也可以通过用户自定义storage handlers存储在其他系统（如Druid）；
Hive引入物化视图的目的就是为了优化数据查询访问的效率,相当于从数据预处理的角度优化数据访问；
Hive从3.0丢弃了index索引的语法支持，推荐使用物化视图和列式存储文件格式来加快查询的速度；

4.2 物化视图与视图的区别

视图是虚拟的，逻辑存在的，只有定义没有存储数据；
物化视图是真实的，物理存在的，里面存储着预计算的数据；
视图的目的是简化降低查询的复杂度，而物化视图的目的是提高查询性能；

物化视图能够缓存数据，在创建物化视图的时候就把数据缓存起来了，Hive把物化视图当成一张“表”，将数据缓存。而视图只是创建一个虚表，只有表结构，没有数据，实际查询的时候再去改写SQL去访问实际的数据表；

4.3 物化视图语法

完整语法树如下

CREATE MATERIALIZED VIEW [IF NOT EXISTS] [db_name.]materialized_view_name
[DISABLE REWRITE]
[COMMENT materialized_view_comment]
[PARTITIONED ON (col_name, ...)]
[CLUSTERED ON (col_name, ...) | DISTRIBUTED ON (col_name, ...) SORTED ON (col_name, ...)]
[
[ROW FORMAT row_format]
[STORED AS file_format]|
STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]
]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
AS SELECT ...;

补充说明：

物化视图创建后，select查询执行数据自动落地，“自动”也即在query的执行期间，任何用户对该物化视图是不可见的,执行完毕之后物化视图可用；
默认情况下，创建好的物化视图可被用于查询优化器optimizer查询重写，在物化视图创建期间可以通过DISABLE REWRITE参数设置禁止使用；
默认SerDe和storage format为hive.materializedview.serde、 hive.materializedview.fileformat；

物化视图支持将数据存储在外部系统（如druid），如下述语法所示：

CREATE MATERIALIZED VIEW druid_wiki_mv

STORED AS 'org.apache.hadoop.hive.druid.DruidStorageHandler'

AS

SELECT __time, page, user, c_added, c_removed

FROM src;

目前支持物化视图的操作有drop和show操作，后续会增加其他操作