Hive(1)数据仓库

数据仓库:

Data Warehouse(DW , DWH).

数据仓库的目的: 构建面向分析的集成化数据环境。

名字叫做data warehourse 数据仓库
仓库：主要用于存储东西的，不会生产东西，也不会消耗东西
数据仓库：不会产生任何的数据，也不会消耗任何的数据，只是用于存储这些数据 主要用于分析性报告和决策支持

数据仓库主要特征:
(1)面向主题:
有确切的分析目标

(2)集成性:
相关的数据都弄到数据仓库这种,利于下一步分析

(3)非易失性:
数据一旦进入数据仓库不会轻易改变

(4)时变性:
根据不用的指标求取,产生不同的分析维度

数据库与数据仓库的区别
数据库：OLTP On-Line Transaction Processing 联机事务处理 用户数据库当中的增删改查. (为了捕获数据而存在)

数据仓库:
OLAP On-Line Analytical Processing
联机分析处理,主要用于分析查询,操作的都是历史数据,不会增加,也不会修改,只进行查询,更不会修改

数据库是面向事务的设计，数据仓库是面向主题设计的。

数据库一般存储业务数据，数据仓库存储的一般是历史数据。

数据库设计是尽量避免冗余，一般针对某一业务应用进行设计，比如一张简单的User表，记录用户名、密码等简单数据即可，符合业务应用，但是不符合分析。数据仓库在设计是有意引入冗余，依照分析需求，分析维度、分析指标进行设计。
数据库是为捕获数据而设计，数据仓库是为分析数据而设计。

数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。

按照数据流入流出的过程，数据仓库架构可分为三层——源数据、数据仓库、数据应用。

数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。
源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做 准备。
数据仓库层（DW）：也称为细节层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。
数据应用层（DA或APP）：前端应用直接读取的数据源；根据报表、专题分析需求而计算生成的数据。
数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。

为什么要对数据仓库分层？
用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。
通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。

5、数据仓库的元数据管理：主要用于记录数据库表之间的关系，数据库表字段的含义等等
还有包括一些数据处理的规则，数据装载的周期，数据导出的周期等等