数据仓库-核心概念

数据仓库

       数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量及控制。

特点

数据仓库是面向主题的

       与传统的数据库不一样，数据仓库是面向主题的，那什么是主题呢？首页主题是一个较高乘次的概念，是较高层次上企业信息系统中的数据综合，归类并进行分析的对象。在逻辑意义上，他是对企业中某一个宏观分析领域所涉及的分析对象。（说人话：就是用户用数据仓库进行决策所关心的重点方面，一个主题通常与多个操作信息型系统有关，而操作型数据库的数据组织面向事务处理任务，各个任务之间是相互隔离的）；面向主题-是指：数据仓库中的数据是按照一定的主题域进行组织。 主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。

数据仓库是集成的

       数据仓库的数据是从原来的分散的数据库数据（mysql等关系型数据库）抽取出来的。操作型数据库与DSS（决策支持系统）分析型数据库差别甚大。第一，数据仓库的每一个主题所对应的源数据在所有的各个分散的数据库中，有许多重复和不一样的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起；第二，数据仓库中的综合数据不能从原来有的数据库系统直接得到。因此子在数据进入数据仓库之前，必然要经过统一与综合，这一步是数据仓库建设中最关键，最复杂的一步，所要完成的工作有：

(1)要统计源数据中所有矛盾之处，如字段的同名异议、异名同义、单位不统一，字长不统一等。

(2)进行数据的综合和计算。数据仓库中的数据综合工作可以在原有数据库抽取数据时生成，但许多是在数据仓库内部生成的，即进入数据仓库以后进行综合生成的。

数据仓库的数据是不可更新的

      数据仓库的数据主要提供企业决策分析之用，所涉及的数据操作主要是数据查询，一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合， 以及基于这些快照进行统计、综合和重组的导出数据，而不是联机处理的数据。数据库中进行联机处理的书库进过集成输入到数据仓库中，一旦数据仓库存放的数据已经超过数据仓库的数据存储期限，这些数据将从当前的数据仓库中删去。因为数据仓库只进行数据查询操作，所以数据仓库当中的系统要比数据库中的系统要简单的多。数据库管理系统中许多技术难点，如完整性保护、并发控制等等，在数据仓库的管理中几乎可以省去。但是由于数据仓库的查询数据量往往很大，所以就对数据查询提出了更高的要求，他要求采用各种复杂的索引技术；同时数据仓库面向的是商业企业的高层管理层，他们会对数据查询的界面友好性和数据表示提出更高的要求。

数据仓库的数据是随着时间的变化而变化的

      数据仓库中的数据不可更新是针对应用来说的，也就是说，数据仓库的用户进行分析处理是不进行数据更新操作的。但并不是说，在从数据集成输入数据仓库开始到最后被删除的整个生存周期中，所有的数据仓库数据都是永远不变的。

数据仓库的数据是随着时间变化而变化的，这是数据仓库的特征之一。这一特征主要有以下三个表现：

(1)数据仓库随着时间变化不断增加新的数据内容。数据仓库系统必须不断捕捉OLTP数据库中变化的数据，追加到数据仓库当中去，也就是要不断的生成OLTP数据库的快照，经统一集成增加到数据仓库中去；但对于确实不在变化的数据库快照，如果捕捉到新的变化数据，则只生成一个新的数据库快照增加进去，而不会对原有的数据库快照进行修改。

(2)数据库随着时间变化不断删去旧的数据内容 。数据仓库内的数据也有存储期限，一旦过了这一期限，过期数据就要被删除。只是数据库内的数据时限要远远的长于操作型环境中的数据时限。在操作型环境中一般只保存有60~90天的数据，而在数据仓库中则要需要保存较长时限的数据（例如：5~10年），以适应DSS进行趋势分析的要求。

(3)数据仓库中包含有大量的综合数据，这些综合数据中很多跟时间有关，如数据经常按照时间段进行综合，或隔一定的时间片进行抽样等等。这些数据要随着时间的变化不断地进行从新综合。因此数据仓库的数据特征都包含时间项，以标明数据的历史时期

价值

高效的数据组织形式

面向主题的特性决定了数据仓库拥有数据库所无法拥有的高效的数据组织形式，更加完整的数据体系，清晰的数据分类和分层机制。因为所有数据在进入数据仓库之前都经过清洗和过滤，使原始数据不再杂乱无章，基于优化查询的组织形式，有效提高数据获取、统计和分析的效率。

时间价值

数据仓库的构建将大大缩短获取信息的时间，数据仓库作为数据的集合，所有的信息都可以从数据仓库直接获取，数据仓库的最大优势在于一旦底层从各类数据源到数据仓库的ETL流程构建成型，那么每天就会有来自各方面的信息通过任务调度的形式流入数据仓库，从而使一切基于这些底层信息的数据获取的效率达到迅速提升。

从应用来看，使用数据仓库可以大大提高数据的查询效率，尤其对于海量数据的关联查询和复杂查询，所以数据仓库有利于实现复杂的统计需求，提高数据统计的效率。

集成价值

数据仓库是所有数据的集合，包括日志信息、数据库数据、文本数据、外部数据等都集成在数据仓库中，对于应用来说，实现各种不同数据的关联并使多维分析更加方便，为从多角度多层次地数据分析和决策制定提供了可能。

历史数据

记历史是数据仓库的特性之一，数据仓库能够还原历史时间点上的产品状态、用户状态、用户行为等，以便于能更好的回溯历史，分析历史，跟踪用户的历史行为，更好地比较历史和总结历史，同时根据历史预测未来。

数据域

      数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常分为交易域、会员域、商品域等。

业务过程

      业务过程是企业在指定的数据域中所执行的业务活动，是数据建模所需要分析的逻辑主体。例如，交易域中可以有加入购物车、下单、支付等业务过程。本文为您介绍如何创建并使用业务过程。

数据集市

      数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。

主题域

      主题域用于将数据集市按照分析视角进行划分，通常是联系较为紧密的数据主题的集合。您可以根据业务的关注点，将这些数据主题划分至不同的主题域。例如，电商行业通常分为交易域、会员域、商品域等。

数仓分层

      数仓分层是结合对业务场景、实际数据、使用系统的综合分析，对数据模型进行的整体架构设计及层级划分。用于将不同用途的数据，归类划分至不同的分层，便于您更好地组织、管理、维护数据。

数据引入层 ODS（Operational Data Store）

      ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。 ODS层的工作： 将原始的结构化数据增量或全量同步至数据仓库中。 将原始的非结构化数据（例如，日志信息）进行结构化处理，并存储至MaxCompute。 根据实际业务需求，记录原始数据的历史变化或对原始数据进行简单的清洗。 ODS层的数据表，命名必须以ods开头，并且生命周期为366天。

明细数据层 DWD（Data Warehouse Detail）

      DWD层通过企业的业务活动事件构建数据模型。基于具体业务事件的特点，构建最细粒度的明细数据表。您可以结合企业的数据使用特点，将明细数据表的某些重要维度属性字段适当冗余，即宽表化处理。同时，也可以减少明细数据表及维度表的关联，提高明细表的易用性。

汇总数据层 DWS（Data Warehouse Summary）

      DWS层通过分析的主题对象构建数据模型。基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表。

应用数据层 ADS（Application Data Service）

      ADS层用于存放数据产品个性化的统计指标数据，输出各种报表。例如，某电商企业，在6月9日至6月19日，杭州地域出售的各大球类商品的数量及排行情况。

公共维度层 DIM（Dimension）

      DIM层使用维度构建数据模型。可基于实际业务，存放逻辑模型的维度表；或存放概念模型的维度定义，通过定义维度，确定维度主键，添加维度属性，关联不同维度等操作，构建整个企业的一致性数据分析维表，帮助您降低数据计算口径和算法不统一的风险。

指标体系

      指标是衡量业务特征的统计数值，用于体现企业某一业务活动的业务状况。指标通常分为原子指标、派生指标、复合指标，与指标相关的参数还包括修饰词和时间周期。

原子指标

      原子指标用于明确业务的统计口径和计算逻辑，是基于用户的业务活动（即业务过程）创建的，用于统计业务活动中某一业务状况的数值。例如，用户的业务活动为购买，则原子指标就可以指定为支付金额。

派生指标

      派生指标是由原子指标、时间周期、修饰词构成，用于反映企业某一业务活动在指定时间周期及目标范围中的业务状况。例如，某企业近一周上海地域的销售金额。

复合指标

      复合指标由多个派生指标通过运算规则进行计算形成。

数仓建模

      数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架。

数据集成

略

数据清洗

略

数据开发

略

数据质量

      通过事前定义监控规则、事中监控数据的生成过程以及事后评估和问题追溯，围绕完整性、一致性性、准确性、有效性和及时性五个方面衡量数据质量。

数据应用

      如BI、个性化推荐系统、智能营销系统等数据应用都可基于数仓完成