一篇文章看懂数据仓库

跑调却靠谱

已于 2022-09-28 11:42:52 修改

阅读量576

点赞数

分类专栏：大数据文章标签：数据仓库数据库大数据

于 2022-09-14 16:59:10 首次发布

本文链接：https://blog.csdn.net/weixin_53570636/article/details/126846564

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章目录

1. 背景

数据仓库(Data Warehouse，简称数仓，DW)，是一个用于存储、分析、报告的数据系统。
数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support）。
数据仓库本身并不生产任何数据，其数据来源于不同外部系统；
数据仓库自身也不需要消费任何数据，其结果开放给各个外部应用使用；

1.1 数仓为何而来

1.1.1 为了分析数据

在企业中，信息用作两个目的：操作型记录保存，分析型决策制定。联机事务处理系统（OLTP：On-Line Transaction Processing）正好满足上述业务需求开展，其主要任务是执行联机事务处理。其基本特征是前台接受的用户数据可以立即传送到后台进行处理，并在很短的时间内给出处理结果。关系型数据库（RDBMS）是OLTP典型应用，比如Oracle、MySQL、SQLServer等。随着业务数据越来越多，基于业务数据开展数据分析，基于分析的结果给决策提供支撑，可以实现数据驱动决策制定。

1.1.2 数据分析环境

OLTP环境可以开展分析，但是没有必要。

OLTP系统的核心是面向业务，支持业务，支持事务。所有的业务操作可以分为读、写两种操作。一般来说读的压力明显大于写的压力。
数据分析也是对数据进行读取操作，会让读取压力倍增。
OLTP仅储存周数据或者月数据。
数据分散在不同系统不同表中，字段类型属性不统一。
集成统一的数据分析平台
当数据规模小，在业务低峰期时可以在OLTP系统上开展直接分析。为了更好的进行各种规模的数据分析，同时也不影响OLTP系统运行，此时需要构建一个集成统一的数据分析平台。
该平台目的：面向分析，支持分析，并且和OLTP系统解耦，这就是数据仓库的雏形。

1.2 数据仓库体系

我们把面向分析，支持分析的系统称之为联机分析处理系统（OLAP：On-Line Analytical Processing）。数据仓库是OLAP的一种。

在这里插入图片描述

1.2.1 主要特征

面向主题(Subject-Oriented)：主题是一个抽象的概念，是较高层次上数据综合、归类并进行分析利用的抽象
集成性(Integrated)：主题相关的数据通常会分布在多个操作型系统中，彼此分散、独立、异构，需要集成到数仓主题下。
非易失性(Non-Volatile)：也叫非易变性。数仓是分析数据的平台，而不是创造数据的平台。
时变性(Time-Variant)：数仓的数据需要随着时间更新，以适应决策的需要。

1.2.2 数据库和数据仓库的区别

数据仓库不是大型的数据库，虽然数据仓库存储的数据规模很大。
数据仓库的出现，并不是要取代数据库。
数据库是面向事务的设计，数据仓库是面向主题的设计。
数据库一般存储业务数据，数据仓库一般存储历史数据。
数据库是为捕获数据而设计，数据仓库是为分析数据而设计。

1.2.3 数据仓库和数据集市的区别

数据仓库(Data Warehouse)是面向整个集团组织的数据，数据集市(Data Mart)是面向单个部门使用的。
可以认为数据集市是数据仓库的子集，也有人把数据集市叫做小型数据仓库。数据集市通常只涉及一个主题领域，它们较小且更具体，所以他们通常更易于管理和维护，并具有更灵活的结构。
各种操作型系统数据和包括文件在内的等其他数据作为数据源，经过ETL（抽取转换加载）填充到数据仓库中；数据仓库中有不同主题数据，数据集市则根据部门特点面向指定主题，比如采购、销售、库存等。
用户可以基于主题数据开展各种应用：数据分析、数据报表、数据挖掘。