数据仓库

数据仓库

一、定义
中央存储库
英文名称为Data Warehouse，可简写为DW或DWH
数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合
二、数据仓库能干什么？
年度销售目标的指定，需要根据以往的历史报表进行决策
优化业务流程
三、架构
标准上可以分为四层：ODS（临时存储层）、PDW（数据仓库层）、DM（数据集市层）、APP（应用层）

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程

四、数据仓库的特点
· 面向主题：数据仓库都是基于某个明确主题，仅需要与该主题相关的数据，其他的无关细节数据将被排除掉
· 集成的：从不同的数据源采集数据到同一个数据源，此过程会有一些ETL操作
· 随时间变化：关键数据隐式或显式的基于时间变化
· 数据仓库的数据是不可更新的：数据装入以后一般只进行查询操作，没有传统数据库的增删改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照进行统计、综合和重组的导出数据，而不是联机处理的数据。

五、数据仓库发展历程
简单报表阶段
数据集市阶段 : 数据的采集，整理，按照业务人员的需要，进行多维报表的展现
数据仓库阶段 : 对整个企业的数据进行采集，整理，并且能够按照各个业务部门的需要，提供跨部门的，完全一致的业务报表数据
六、运作原理
将数据整理成描述数据布局和类型的Schema（模式），提取的数据将存储在 Schema 描述的各种表中，查询工具使用 Schema 来确定要访问和分析哪些数据表。
七、数据仓库技术
数据仓库技术是为了有效的把操作型数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称。所做的一切都是为了让用户更快更方便查询所需要的信息，提供决策支持。
从功能结构划分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。
在国内最优秀的互联网公司里(如阿里、腾讯)，很多数据引擎是架构在数据仓库之上的(如数据分析引擎、数据挖掘引擎、推荐引擎、可视化引擎等等)。
八、数据仓库多维数据模型的基本概念
主题（Subject）
主题就是指我们所要分析的具体方面。例如：某年某月某地区某机型某款App的安装情况。主题有两个元素：一是各个分析角度（维度），如时间位置；二是要分析的具体量度，该量度一般通过数值体现，如App安装量。
维（Dimension）
维是用于从不同角度描述事物特征的，一般维都会有多层（Level：级别），每个Level都会包含一些共有的或特有的属性（Attribute）。以时间维为例，时间维一般会包含年、季、月、日这几个Level，每个Level一般都会有ID、NAME、DESCRIPTION这几个公共属性，这几个公共属性不仅适用于时间维，也同样表现在其它各种不同类型的维。
分层（Hierarchy）
OLAP需要基于有层级的自上而下的钻取，或者自下而上地聚合。所以我们一般会在维的基础上再次进行分层，维、分层、层级的关系如下图：
每一级之间可能是附属关系（如市属于省、省属于国家），也可能是顺序关系（如天周年）。
量度
量度就是我们要分析的具体的技术指标，诸如年销售额之类。它们一般为数值型数据。我们或者将该数据汇总，或者将该数据取次数、独立次数或取最大最小值等，这样的数据称为量度。
粒度
数据的细分层度，例如按天分按小时分。
事实表和维表
事实表是用来记录分析的内容的全量信息的，包含了每个事件的具体要素，以及具体发生的事情。事实表中存储数字型ID以及度量信息。
维表则是对事实表中事件的要素的描述信息，就是你观察该事务的角度，是从哪个角度去观察这个内容的。事实表和维表通过ID相关联
企业级数据仓库/数据集市
企业级数据仓库：突出大而全，不论是细致数据和聚合数据它全都有，设计时使用事实星座模式…
数据集市：可以看做是企业级数据仓库的一个子集，它是针对某一方面的数据设计的数据仓库，例如为公司的支付业务设计一个单独的数据集市。由于数据集市没有进行企业级的设计和规划，所以长期来看，它本身的集成将会极其复杂。其数据来源有两种，一种是直接从原生数据源得到，另一种是从企业数据仓库得到。
九、数据仓库的运用
1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。
2.数据化运营、精准运营。
3.广告精准、智能投放。
十、数据仓库与数据库的对比
数据仓库是专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势
数据库用于捕获和存储数据，例如记录事务的详细信息。

十一、数据仓库与数据集市的对比
数据集市是一种数据仓库，用于满足特定团队或业务部门（例如财务、营销或销售）的需求。它更小、更集中，并且可能包含最适合其用户社区的数据汇总。