大数据面试题之数仓(2)

小的~~

已于 2024-07-03 19:20:56 修改

阅读量1.2k

点赞数 13

分类专栏：大数据 Java 文章标签：大数据 java

于 2024-07-03 19:17:36 首次发布

本文链接：https://blog.csdn.net/k7gxn56/article/details/140158968

版权

维度表和事实表的区别?

什么是ER模型?

OLAP、OLTP解释(区别)三范式是什么，举些例子

维度设计过程，事实设计过程

维度设计中有整合和拆分，有哪些方法，并详细说明

事实表设计分几种，每一种都是如何在业务中使用

单事务事实表、多事务事实表区别与作用

说下一致性维度、一致性事实、总线矩阵

从ODS层到DW层的ETL，做了哪些工作?

维度表和事实表的区别?

维度表和事实表是数据仓库设计中的两个核心概念，它们在数据仓库架构中扮演着不同的角色，服务于不同的目的。以下是它们的主要区别：

维度表(Dimension Table)

描述性属性：维度表包含用于描述数据上下文的信息，比如时间、地点、产品、客户等。这些信息帮助分析人员从多个角度（维度）理解数据。
宽而浅：维度表通常有很多列（属性），但行数相对较少。例如，一个时间维度表可能包含年、月、日、星期等列，但是相对于事实表，其行数是有限的。
高冗余：为了便于查询和提高效率，维度表中可能存在一定的数据冗余。例如，产品名称可能会在多个行中重复出现，以确保每个相关的事实记录都能直接关联到完整的维度信息。
缓慢变化维：维度表还处理缓慢变化维度的问题，即随着时间推移，维度属性可能会发生变化，需要设计策略来管理这种变化，如类型1（直接覆盖）、类型2（增加新行记录变化）或类型3（添加额外列存储历史状态）。

事实表(Fact Table)

度量值：事实表存储的是业务事件的量化度量，比如销售额、访问次数、订单数量等。这些度量值是分析的主要对象。
长而深：与维度表相反，事实表通常有较少的列（主要是度量值和外键），但行数非常多，随着业务活动的增长而快速增长。
关联维度：事实表通过外键与维度表关联，每个事实记录都关联到一个或多个维度，这样就可以从不同维度分析度量值。
粒度：事实表的设计粒度（记录级别的细节程度）是非常关键的，可以是交易级、日志级、汇总级等，决定了可以进行分析的详细程度和效率。

总结
维度表为分析提供视角和背景信息，事实表则记录了实际发生的业务活动和度量。两者相结合，通过星型或雪花型模式连接，形成了数据仓库的基础，使得用户能够快速高效地对大量数据进行多维度分析和报告生成。在数据仓库的设计和实施过程中，明确区分和合理设计这两类表是至关重要的。

什么是ER模型?

ER模型，全称为实体-关系模型（Entity-Relationship Model），是一种概念数据模型，广泛应用于数据库设计中，用以描述现实世界中的数据结构。ER模型由Peter Chen于1976年提出，它提供了一种不受任何特定数据库管理系统（DBMS）约束的、面向用户的表达方法，使得设计人员和非技术用户能够有效地沟通和理解数据需求。

ER模型的核心组成部分包括：

1、实体（Entity）：实体代表现实世界中可区分的事物或概念，比如人、地点、事件或对象。在数据库中，实体通常转化为表格的形式。
2、属性（Attribute）：属性是描述实体特征的具体细节，例如，一个人实体可能有姓名、年龄、地址等属性。
3、联系（Relationship）：联系表示实体之间的关联方式，它可以是一对一、一对多或多对多的关系。例如，一个学生（实体）可以注册多个课程（实体），而一门课程也可以被多个学生注册，这就表示了一种多对多的联系。
ER模型通过实体-联系图（E-R Diagram）来视觉化表示这些概念，图中使用矩形表示实体，椭圆或菱形表示属性，而菱形则用来表示实体间的联系类型，并用连线将它们连接起来，标明关系的名称和 cardinality（基数），比如“一个学生参加多个课程”。

ER模型在数据库设计的早期阶段，即概念设计阶段，发挥着关键作用。它帮助设计者理解并记录数据需求，随后这些需求会被转换为逻辑数据模型（如关系模型），进一步细化为物理数据模型，最终实现为具体的数据库结构。由于其直观且易于理解的特点，ER模型成为了数据库设计和开发过程中不可或缺的工具。

OLAP、OLTP解释(区别)三范式是什么，举些例子

OLAP（联机分析处理）和OLTP（联机事务处理）是数据库和数据处理领域的两种主要应用场景，它们有着不同的设计目标和应用场景。

OLAP（联机分析处理）
1) 目标：OLAP系统主要用于支持复杂的分析查询，如趋势分析、数据挖掘、报表生成等，帮助决策者进行业务洞察和战略规划。
2) 特点：

查询复杂，涉及大量数据的聚合、分组和钻取操作。
数据更新频率低，通常数据是定期加载或更新。
使用星型或雪花型模型，数据通常是去范式化的，以优化查询性能。
面向市场和决策支持，提供历史数据的多维度视图。

OLTP（联机事务处理）
1) 目标：OLTP系统专注于处理日常业务操作，如订单处理、账户转账、库存管理等，保证数据的即时性和准确性。
2) 特点：

高并发，处理简单而频繁的事务，如增删改查操作。
需要高度的事务一致性、隔离性和持久性（ACID属性）。
数据库设计遵循范式化原则，如第一范式（1NF）、第二范式（2NF）、第三范式（3NF），以减少数据冗余和提高数据完整性。
实时性要求高，对响应时间敏感。

三范式（以第三范式为例）
数据库设计的三范式是为了减少数据冗余、提高数据的一致性和完整性。第三范式（3NF）要求：

满足第二范式（2NF），即非主属性完全依赖于任何一个候选键。
非主属性之间相互独立，没有传递依赖。也就是说，如果非主属性A依赖于非主属性B，而B又依赖于主键，那么这种依赖关系需要消除。

例子
OLAP例子

一个零售公司的数据仓库用于分析去年各季度不同地区的销售情况，包括按产品类别、时间序列的销售额分析，以及促销活动对销量的影响等。

OLTP例子

在线购物平台的订单系统，处理用户的商品选购、支付、订单确认等即时交易操作，确保每笔交易的准确无误，并实时更新库存信息。

第三范式（3NF）例子
假设有一个订单管理系统的数据库，其中包含订单表(Order)、产品表(Product)和客户表(Customer)。

订单表(Order)有订单ID(主键)、客户ID(外键)、产品ID(外键)和数量等字段。这里，订单ID直接关联订单详情，而客户ID和产品ID分别指向客户表和产品表，避免了在订单表中直接存储客户和产品的详细信息，减少了数据冗余，符合3NF的要求。如果订单表还包含了一个字段记录客户的地址，但由于地址信息实际上是由客户ID确定的（地址依赖于客户，客户再依赖于订单ID），这将违反3NF，因为出现了传递依赖。正确的做法是在客户表中存储地址信息。