数据明细层(DWD)
数据明细层对 ODS 层的数据除了进行清洗、标准化之外,还会进行维度退化。
维度是指对表中数据的一种组织方式,如时间、分类、地域;这些维度属性,在业务数据库中,会被拆分成多张表进行存储,这些表被称为维度表。
如下图所示,商品表和它的分类维度表(一、二、三级分类),按照范式标准一共拆分成了 4 张表。
但在数据仓库产品中,一旦涉及到 join 关联操作,会消耗大量的资源,且降低运行的速度。所以会选择增加冗余,将这些维度表合并到主表中形成宽表。这种操作被称为维度退化。
而且一些大型的企业,在全国各地都开设了分公司,每个分公司的业务数据库只记录当前地区的数据,于是虽然数据内容相同,但地域不同,就形成了多张表。这些数据被汇总起来的时候,也需要对地域维度进行维度退化,增加一个地域字段,如 City,然后将所有地区的表汇总成一张表,从而提升之后的运算性能。
数据汇总层(DWS)
数据汇总层的数据对数据明细层的数据,按照分析主题进行计算汇总,存放便于分析的宽表。
<