目录
1、基本概念
1.1 什么是数据库
数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。
数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是 以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和 易扩展性的特点并可在一定范围内为多个用户共享。
常用的数据库有 MySQL、ORACLE、SQL Server 等。
1.2 什么是数据仓库
数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的 “Building the Data Warehouse” 一书中所提出的定义被广泛接受。数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。
数据仓库的特征：面向主题、集成性、相对稳定性、反映历史变化、用于支持管理决策。
数据仓库的意义：对企业的所有数据进行汇总，为企业各个部门提供统一的， 规范的数据出口。
数据仓库的目标：实现集成、稳定、反映历史变化、有组织、有结构的存储数据集合。
• 面向主题：数据仓库中的数据是按照一定的主题域进行组织的，每一个主题对应一个宏观的分析领域。数据仓库排除对于决策无用的数据，提供特定主题的简明视图。
• 集成的：企业内不同业务部门数据的完整集成。对于企业内所有数据的集成要注意一致性(假设财务系统中对于性别使用 F/M，而 OA 系统对性别使用 A/B，这就是数据不一致，如果想搭建企业级的数据仓库，需要数据具有一 致性)。
• 相对稳定的：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。
• 反映历史变化：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。
1.3 数据库(OLTP)与数据仓库(OLAP)的区别
操作型处理，叫联机事务处理OLTP（On-Line Transaction Processing），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理。
分析型处理，叫联机分析处理OLAP（On-Line Analytical Processing）一般针对某些主题的历史数据进行分析，支持管理决策。
OLTP 与 OLAP 的异同如下表：
| 操作型处理 | 分析型处理 |
| 细节的 | 综合的或提炼的 |
| 实体-关系(ER)模型 | 星型或雪花模型 |
| 存取瞬间数据 | 存储历史数据，不包含最近的数据 |
| 可更新的 | 只读，只追加 |
| 一次操作一个单元 | 一次操作一个集合 |
| 性能要求高，响应时间短 | 性能要求宽松 |
| 面向事务 | 面向分析 |
| 一次操作数据量小 | 一次操作数据量大 |
| 支持日常操作 | 支持决策需求 |
| 数据量小 | 数据量大 |
| 客户订单、库存水平和银行账户等 | 客户收益分析、市场细分等 |
2、基础架构
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不生产任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用：
从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。
数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。
3、架构演进
离线数据仓库到实时数据仓库，从lambda架构到kappa架构、再到混合架构。
4、逻辑分层
数仓分层，一般按ods->dw->dm整体架构，不同的企业，不同的业务场景，有衍生出不同的分层架构模式。例如经典四层架构：ods->dwd->dws-ads，bdl->fdl->gdl->adl等。
技术选型，传统数仓一般以Oracle、greenplum、teradata 等，互联网数仓一般以Hadoop生态圈为主，离线以Hive为核心，准实时以spark为核心，实时以flink为核心构建。
5、数据调研
业务调研，业务侧对齐，遵循关系型数据库建模方式，从概念模型（cdm）->逻辑模型（ldm）->物理模型（pdm）建模套路，是一个从抽象到具体的一个不断细化完善的分析，设计和开发的过程。
需求调研，现有BI报表需求，统计需求，用户画像，推荐系统等数据应用。
数据库调研，了解数据库表数据结构、数据形态，全局把握业务流程数据流向，做到真正业务流程和数据结构结合。
6、主题域划分
业务高度抽象，可先确定企业业务模块，然后根据概念模型（cdm）进行一级主题划分，确定一致性维度和事实流程，构建总线矩阵。
按照kimball大师经典建模四步骤：选择业务过程->声明粒度->确定维度->确定事实 进行维度建模。
7、数仓规范
构建企业级数据仓库，必不可少的就是制定数仓规范。包括 命名规范，流程规范，设计规范，开发规范 等。无规矩不成方圆，建设数仓也是这样。
8、数据治理
大数据时代必不可少的一个重要环节，可从数据质量、元数据管理、数据安全、数据生命周期等方面开展实施。数据治理是一个企业安身立命的根本。
数据质量，必须保证完整性、准确性、一致性、时效性。每一个任务都应该配置数据质量监控，严禁任务裸奔。可建设统一数据质量告警中心从以下四个方面进行监控、预警和优化任务。
元数据管理，关于数据的数据。可分为技术元数据和业务元数据。对于数仓开发和维护，模型血缘关系尤为重要。
数据安全，可包含以下五方面的内容，即数据的保密性、真实性、完整性、未授权拷贝和所寄生系统的安全性。
数据生命周期：后续章节详细详解。
9、数仓理念
从80年代到现在，数据仓库流派之争已趋于稳缓，比较经典的就是数仓大师Kimball的维度建模、数仓之父Inmon的范式(E-R)建模，另外还有Data Vault建模、Anchor模型等。
Kimball Data Warehouse Architecture：
Inmon Data Warehouse Architecture：
594
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
