Hive(数据仓库)数据仓库和 Hive 的基本概念

本文介绍了数据仓库的基本概念,强调了其面向主题、集成性、非易失性和时变性的特征,并探讨了数据库与数据仓库的区别。此外,文章详细阐述了数据仓库的分层架构和元数据管理。接着,文章转向Hive,讲解了Hive作为基于Hadoop的数据仓库工具,提供类SQL查询功能,用于海量数据的离线分析,以及Hive的架构和与Hadoop的关系。
摘要由CSDN通过智能技术生成

1. 数据仓库

1.1 基本概念

       英文名称为 Data Warehouse,可简写为 DW 或 DWH。数据仓库的目的是构建面相分析的集成化数据环境,为企业提供决策支持(Decision Support)。

       数据仓库是存数据的,企业的各种数据往里面存,主要目的是为了分析有效数据,后续会基于它产出供分析挖掘的数据,或者数据应用需要的数据,如企业的分析性报告和各类报表等。

       可以理解为:面向分析的存储系统。

1.2 主要特征

       数据仓库是面向主题的(Subject-Oriented)、集成的(Integrated)、非易失的(Non-Volatile)和时变的(Time-Variant)数据集合,用以支持管理决策。

1.2.1. 面向主题

       数据仓库是面向主题的,数据仓库通过一个个主题域将多个业务系统的数据加载到一起,为了各个主题(如:用户、订单、商品等)进行分析而建,操作型数据库是为了支撑各种业务而建立。

1.2.2. 集成性

       数据仓库会将不同源数据库中的数据汇总到一起,数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前,必然要经过统一与整合,这一步是数据仓库建设中最关键、最复杂的一步(ETL),要统一源数据中所有矛盾之处,如字段的同名异义、异名同义、单位不统一、字长不一致,等等。

1.2.3. 非易失性

       操作型数据库主要服务于日常的业务操作,使得数据库需要不断地对数据实时更新,以便迅速获得当前最新数据,不至于影响正常的业务运作。

       在数据仓库中只要保存过去的业务数据,不需要每一笔业务都实时更新数据仓库,而是根据商业需要每隔一段时间把一批较新的数据导入数据仓库。 数据仓库的数据反映的是一段相当长的时间内历史数据的内容,是不同时点的数据库的集合,以及基于这些快照进行统计、综合和重组的导出数据。数据仓库中的数据一般仅执行查询操作,很少会有删除和更新。但是需定期加载和刷新数据。

1.2.4. 时变性

       数据仓库包含各种粒度的历史数据。数据仓库中的数据可能

  • 3
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值