数据仓库

数据仓库的基本介绍

思考: 什么是数据仓库呢?

    数据仓库就是一个面向于主题的, 主要用于存储过去历史发送的数据, 对这些数据进行统计分析, 从而对未来进行决策支持
    
数据仓库最大的特点呢? 既不生产数据, 也不消耗数据, 数据来源于各个数据源
​
什么是数据分析呢? 其实本质上就是在进行数据查询聚合统计过程, 根据需求得到相关结果
    在简单点: 数据查询

思考: 数据仓库四大特征?

1) 面向于主题:  主题指的分析的内容, 要分析什么, 什么就是我们的主题
2) 非易时性: 存储在数据仓库中数据都是过去既定发生过的数据, 这些数据一般不会发生修改的
3) 时变性: 随着时间的推移, 原有的分析的手段可能无法满足未来分析要求, 需要调整分析的方案, 同时随着时间增加, 也需要添加最近刚刚过去的相关数据(数据新增操作)
4) 数据集成性: 数据来源于各个数据源, 数据类型也是多种多样的, 将这些汇总在一起

OLAP和OLTP区别:

OLAP(联机分析处理) : 数据仓库
    面向于分析的
    面向于主题的
    存储历史过去数据
    支持决策分析, 提供给决策人员使用
    相对响应速度较慢
    
OLTP(联机事务处理) : 关系型数据库
    面向交易业务的事务处理
    面向业务
    存储最新数据
    支持业务处理, 一般是业务人员使用
    响应速度更快

数据集市和数据仓库的区别:

    数据仓库可以理解是集团的数据中心, 所有的数据都是放置在数据仓库中, 在数据仓库中又按照部门 或者 业务 划分多个不同的区域, 将这个区域称为数据集市
    
    所以说 数据仓库下可以有多个数据集市的
    
    比如说: 在新零售项目中:
        ods  DWd DWB层, 可以理解是集团数据中心, 也就是数据仓库
        在之上, 又分为 用户主题,订单主题, 商品主题  基于这些主题对应相关各个层次表, 就是一个数据集市了

维度分析

• 维度: 指的是在分析一个问题的时候, 可以从不同角度来看待,而这些角度就是维度, 角度不同决定了维度不同

  • 维度的分类:

    • 定性维度:一般指的 求 每个 各个 等相关维度

      • 在SQL上表示: 一般都是放置group by中

    • 定量维度: 一般表示区间范围 或者具体的值

      • SQL上表示: 一般是放置在where中

  • 维度的分层和分级: 在根据某一个维度进行统计的时候, 可以对这个维度进行细化分层统计

    • 例如:

      • 按照时间统计: 可以细化 年 季度 月 天 周 小时....

      • 按照地区统计: 可以细化 国家 省份 城市 ...

  • 维度的下钻和上卷:

    • 例如:

      • 比如说: 在统计的时候, 要求以天作为维度进行统计, 在统计过程中要求下钻统计 每个小时,,并且上卷统计 月 和年数据

    • 一般要以一个标准, 往标准细化方向走 一般叫做下钻 往粗粒度方向走 一般称为上卷统计

  • 不管是分层分级还是上卷和下钻 从分析的角度来看, 无非就是增加了一些维度而已

• 指标: 衡量事务的标准 也叫度量值

  • 常见的度量值: max min count sum avg 比率 同比增长....

  • 指标分类:

    • 绝对数值: 求具体的结果 比如向 max min count sum avg

    • 相对数值: 丢相对的值, 比如说 转换率 流失率 同比 环比....

 数仓建模

什么是建模呢? 所谓的建模指的就是如何构建表的操作

如何进行建模呢? 常见建模方式主要二种:

• 三范式建模:

  • 以业务为导向的, 要求在建表的时候, 表应该是有一个主键的, 在建表的时候, 尽可能避免数据的冗余情况发生...

• 维度建模法:

  • 以分析为导向的, 构建表的时候, 要求能够满足分析的要求, 设计的时候, 能够让目标分析更加简单, 建模越加合理, 在利于分析的要求下, 允许数据出现一定的

在维度建模中, 提供两种表模型: 事实表 和 维度表

• 事实表: 指的分析主题所有对应的表 或者需求所对应的表 或者 进行指标计算字段所在表

  • 特点: 一般是由一坨外键(其他表主键)的聚集的表

• 维度表: 在对事实表根据各个维度进行统计分析的时候, 可能需要关联上其他的表, 此时其他的表一般称为维度表

在一些特殊的情况下, 有一些表 即是当前主题的事实表 又是其他主题的维度表

在数仓发展的过程中, 出现了三种发展模型:

• 星型模型:

  • 特点: 只有一个事实表, 也就是只有一个分析的主题, 有多个维度表, 多个维度表之间没有任何的关联

  • 这种模型是数仓发展的什么期容易产生模型呢? 初期

• 雪花模型:

  • 特点: 只有一个事实表, 也就是只有分析的主题, 有多个维度表, 维度表可以接着关联其他的维度表

  • 这种模型是数仓发展的什么期容易产生模型呢? 数仓发展出现了畸形的情况下, 有可能产生模型 这种模型下, 非常不便于维护和分析, 在实际使用尽量避免这种模型出现

• 星座模型:

  • 特点: 有多个事实表, 也就是有多个分析的主题, 有多个维度表 在条件符合的情况下, 多个事实表之间的维度表可以进行共用

 缓慢渐变维:

目的: 解决历史数据变更是否需要存储的问题

为什么有时候需要维护历史变化?

    原因: 由于需求计算的操作, 如果我们不去维度历史变更行为, 可能会导致分析出现不精确情况
    
    举个栗子:  
        假设有二个客户 张三和李四, 张三居住在北京,  李四居住在三亚, 这两个哥们每个人今年都花费100w用于购物, 统计每个人在各个地区消费额? 张三 北京 消费了100w  李四在三亚消费了100w
        但是后来张三从北京迁移到 三亚. 如果不去维护这个历史变化, 这个时候, 我们数据库中只记录最新的三亚的数据, 此时再次统计张三在各个地区消费额的时候, 变更为 张三在三亚消费了100w 但是明显这个结果是不对的

如何维护呢?

• scd1: 直接覆盖, 不保留 不维护历史版本数据, 一般适用于错误数据处理

• scd2(拉链表): 当数据发送变更的时候, 首先将之前的数据设置一个截止时间, 表示过期了, 然后新增一条新的数据即可, 新的记录的起始时间就是上一条记录截止时间, 通过像链条一样的方案, 将变更数据串联在一起

  • 优点:

    • 利用维护(实现便利性, 后续查询便利性)

    • 可以保留更多的历史版本

  • 弊端:

    • 存在数据冗余情况

• scd3: 当数据发送变更的时候, 首先新增一个新的字段, 记录下其更改的信息即可

  • 优点:

    • 尽最大可能性, 减少数据冗余发生

  • 弊端:

    • 不利于维护操作

    • 不能保存更多历史版本

数据仓库的分层架构

请问为什么数据 仓库要进行分层呢?

• 1- 功能划分更加明确

• 2- 维度更加方便

如何进行数仓分层呢? 最开始讲的分层有三层

• ODS层: 源数据层

  作用: 对接数据源, 将数据源中数据加载到ODS层中, 形成一张纸的表, 一般和数据源中数据保持相同粒度(数据一致)

• DW层: 数据仓库层

  作用: 对数据进行统计分析操作,数据来源于 ODS层
  ​
  从ODS到DW层 这个过程, 也可以称为 ETL操作:  抽取 转换 加载
      从ODS层将需要的数据抽取出来, 对数据进行清洗转换处理工作, 将一份利于分析的数据灌入到DW层中

• DA|APP|ADS|rpt层: 数据应用层

  作用: 对接应用,  从DW层抽取应用需要的数据放置到DA层中
  ​
  比如说:
      后续对接图表, 每个图表需要的数据 都要从DW层抽取, 在DA层中形成多个 结果表, 每一个结果表对应着一个或多个图表数据

在我们后续的保险项目中,也是基于这三层来工作的

强调:  
    对于这几层的划分 并不是特别清洗, 主要原因是因为采用spark SQL工作, 以及采用代码实时, 保存在spark中完全支持多次不断迭代计算操作, 导致又是一个程序就可以所有的内容, 从而分层架构没有那么明细