数据仓库含义，架构，ETL以及数据仓库的建模

最新推荐文章于 2024-06-04 19:54:39 发布

May--J--Oldhu

最新推荐文章于 2024-06-04 19:54:39 发布

阅读量906

点赞数

文章标签：数据仓库数据库数据分析大数据

本文链接：https://blog.csdn.net/May_J_Oldhu/article/details/109035741

版权

瀑布式开发

3w1h（why，what，where，how）

一.为什么学习数据仓库（DB）

数据不兼容, 很难被整合（比如：F/M,女/男进行整合）
战略决策需要数据的分析（通过对数据进行分析，获取有效的信息）
推荐系统

二.什么是数据仓库

数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合

1.面向主题

主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念
每一个主题基本对应一个宏观的分析领域
在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象
例如“销售分析”就是一个分析领域，因此这个数据仓库应用的主题就是“销售分析”

提取主题

一个面向事务处理的“商场”数据库系统，其数据模式如下
采购子系统：
订单（订单号，供应商号，总金额，日期）
订单细则（订单号，商品号，类别，单价，数量）
供应商（供应商号，供应商名，地址，电话）

销售子系统：
顾客（顾客号，姓名，性别，年龄，文化程度，地址，电话）
销售（员工号，顾客号，商品号，数量，单价，日期）

库存管理子系统：
领料单（领料单号，领料人，商品号，数量，日期）
进料单（进料单号，订单号，进料人，收料人，日期）
库存（商品号，库房号，库存量，日期）
库房（库房号，仓库管理员，地点，库存商品描述）

人事管理子系统：
员工（员工号，姓名，性别，年龄，文化程度，部门号）
部门（部门号，部门名称，部门主管，电话）

在每个主题当中，包含了相关主题的所有信息，又同时抛弃了与分析处理无关的数据

主题：销售

固有信息：员工号，顾客号，商品号，数量，单价，日期

员工信息：员工号，姓名，性别，年龄，文化程度，部门号

顾客信息：顾客号，姓名，性别，年龄，文化程度，地址，电话

商品信息：商品号，商品名称，单价，重量，体积…

2.集成

集成性是指数据仓库中数据必须是一致的
数据仓库的数据是从原有的分散的多个数据库、数据文件和数据段中抽取来的
数据来源可能既有内部数据又有外部数据
例如F/M，0/1，A/B
集成方法
统一：消除不一致的现象
综合：对原有数据进行综合和计算

3.非易失

数据仓库中的数据是经过抽取而形成的分析型数据
不具有原始性
主要供企业决策分析之用
执行的主要是‘查询’操作，一般情况下不执行‘更新’操作
一个稳定的数据环境也有利于数据分析操作和决策的制订

4.随时间变化

数据仓库以维的形式对数据进行组织，时间维是数据仓库中很重要的一个维度
不断增加新的数据内容
不断删去旧的数据内容
更新与时间有关的综合数据

三.数据仓库和数据库的区别

1.数据库和数据仓库

数据库是为捕获和存储数据而设计 前端
数据仓库是为分析数据而设计 内部

2.OLTP和OLAP的区别

联机事务处理OLTP（On-Line Transaction Processing）
OLTP是传统的关系型数据库的主要应用
主要是基本的、日常的事务处理
例如银行交易
联机分析处理OLAP（On-Line Analytical Processing）
OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结

在这里插入图片描述

练习2：OLAP和OLTP

关于OLAP和OLTP的区别描述, 不正确的是(C )
A. OLAP主要是关于如何理解聚集的大量不同的数据. 它与OLTP应用程序不同
B. 与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务
C. OLAP的特点在于事务量大, 但事务内容比较简单且重复率高
D. OLAP是以数据仓库为基础的, 但其最终数据来源与OLTP一样均来自底层的数