数仓的了解

最新推荐文章于 2024-05-31 11:55:38 发布

Matthew117

最新推荐文章于 2024-05-31 11:55:38 发布

阅读量720

点赞数

分类专栏：数仓文章标签： 1024程序员节

本文链接：https://blog.csdn.net/matthew93/article/details/127500201

版权

2 篇文章 0 订阅

订阅专栏

1.数仓：存储数据的仓库，主要是面相于主题，进行数据分析工作，主要是存储历史过去的数据，通过对过去历史数据分析从而对未来提供决策支持
2.数仓最大的特征：即不生产数据，也不消耗数据，数据来源与各个数据源

狭义上ETL:
从ODS层将数据抽取处理啊，对数据进行清洗转换处理，将处理后数据加载到DW层过程
宽泛上ETL:
整个数仓全过程包含从数据源到ODS，从ODS到DW到DA过程DA到业务库

分析问题的角度，当面对一个主题进行分析到时候，可以从不同到角度来分析，而这些角度其实就是维度

定性维度：在编写SQL的时候，这些维度对应字段会放置SQL的group by或则窗口函数中
定量维度：主要指求某一个具值相关内容，或某个范围的维度，在编写SQL的时候，这些维度对应字段会放置在SQL的where条件中

一天为标准，需要进行上卷统计周月季度年下钻统计小时
从分析角度，不管下钻和上卷，其实都是增加了细化维度而已，统计维度变多了而已

衡量事物发展的标准，也叫度量

数仓建模中，主要有两种建模方案：三范式建模，维度建模
三范式建模：三范式建主要是应用在关系型数据库中，三范式建模规定，在创建一个表的时候，这个表应该有一个主键，在构建的过程中，尽可能避免数据冗余存储问题
维度建模：
维度建模主要是应用OLAP数据库中(数仓环境中)，维度建模规定，在构建表的时候，以能满足分析要求前提，如果能降低分析难度，即使出现了一些数据冗余问题，也不影响，而且主键也可以不存在

事实指的就是分析的主题，而事实表就是要分析的主题对应的表
一般都是通过事实表进行指标统计操作，在统计过程中，需要结合着各个维度，此时可能需要其他维度表参与

事实表中外键所对应的表其实都是维度表。
在进行统计分析的时候，除了使用事实表以外，还需要结合着一些其他表进行统计分析，而		这些表其实就是维度表。

将维度信息数据从维度表抛离处理，将这些信息冗余到事实表中，这个过程称为维度退化

只有一个分析的主体，也就是只有一个事实表，在事实表周围围绕了多个维度表，而且维度表于维度表之间没有任何联系
这种模型，一般是数仓发展初期的时候最容易产生的模型

只有一个分析的主题，也就是只有一个事实表，在事实表周围围绕了多个维度表，维度表可以接着关联其他的维度表
这种模型一般是数仓发展走歪了，做容易产生模型，这种模型在数仓构建过程中，尽量的表面出现，主要原因，这种模型不利于维护，而且会加大分析需求难度

有多个分析的主题，也就是说有了多个事实表，在每个事实表周围都围绕了多个维度表，维度表和维度表在条件符合的情况下，是可以共享维度的；
这种模型，一般是数仓发展中，后期的时候最容易产生模型

作用：是为了记录数据历史表更行为的

SCD1:最简单的记录方案：不维护历史变更数据，每次都是直接将原来的数据覆盖掉，仅适合于错误数据处理工作
SCD2(拉链表)：采用拉链表的形式维护历史变化信息，采取方案：在原有表增加二个字段（start_time,end_time），通过这两个字段，来维护用户每一段变化的数据经历周期，从而形成拉链数据过程。
弊端：只要有其中一个字段发生变更，都需要对整条数据重新记录，冗余程度比较高
好处：实现比较简单，可以非常简单的维护更多的历史版本数据
SCD3：当数据发生变更后，对表结构进行处理，可以新增一类数据，用于记录最新变更数据即可
适用于：空间不足，需要记录版本也不会特别多，可应采用scd3模型，否则建议都采集scd2拉链表方案
好处：冗余变小了
弊端：无法维护太多历史版本（3，5个左右），实现较为繁琐，不利于维护