【离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计】

于 2023-02-26 22:09:00 发布
阅读量1.7k 收藏 12
点赞数 1
分类专栏： 数据仓库 大数据 数据治理 文章标签： 数据仓库 数据库 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38136584/article/details/129223090
版权

离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计

离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计

一、DWS层设计要点

  • DWS层计算是依托于业务层面的需求来实现的，是需求驱动的。
  • 设计要点：
    • 1.DWS层的设计参考指标体系；
      • 具体参考之前文档笔记：https://blog.csdn.net/weixin_38136584/article/details/129167647?spm=1001.2014.3001.5501
      • 从0-1搭建dws层步骤：
        • 1.分析现有的每个业务需求，这一步最难，每个业务需求怎样计算，然后分析每个业务需求依赖哪些指标，每个指标依赖的派生指标有哪些，构建出业务需求指标的分析视图。
        • 2.从分析出来的业务需求视图里面，可以提炼到表格汇总，然后寻找共用的派生指标有哪些
        • 3.根据派生指标，来进行设计DWS层表格，在DWS层创建表格和派生指标关系？一对多；哪些派生指标共用公共派生指标表格呢？
          • 将业务过程相同、统计周期相同、统计粒度相同的派生指标汇总到一个派生指标对应的表格中，这样DWS层表格就会减少很多。
            • 业务过程相同：来自于同一张事实表
            • 统计周期相同：在进行过滤的时候，过滤的分区也相同。
              • 不同周期的可以放在一个表格中，但是这样存储的话，在进行数据装载的时候，如果牵涉到历史至今的周期和最近一天的周期，那么会全量扫描dwd层全表，但是最新一天的数据，仅仅跟前一日的分区有关系，数据装载的效率降低。
              • 建议将不同周期的存放在不同的表格中，即便是业务过程和统计粒度相同。
            • 统计粒度相同： 统计粒度相同的话，派生指标计算完毕的数据都是一个值，对应到的都是统计粒度维度，这些计算完的指标，新增一个字段，将结果存放进去即可。
    • 2.DWS层的数据存储格式为ORC列式存储 + snappy压缩。
    • 3.DWS层表名的命名规范为：dws_数据域_统计粒度_业务过程_统计周期（1d/nd/td）
      注：1d表示最近1日，nd表示最近n日，td表示历史至今。

二、DWS层设计分析 - 1d/nd

1.DWS层设计一：不考虑用户维度

  • 1.首先需要对ADS层业务需求进行明确，需求如下：
    • 1.各品牌商品交易统计
    • 2.各品类商品交易统计
统计周期统计粒度指标
最近1、7、30日品牌订单数
最近1、7、30日品牌订单人数
最近1、7、30日品牌退单数
最近1、7、30日品牌退单人数
统计周期统计粒度指标
最近1、7、30日品类订单数
最近1、7、30日品类订单人数
最近1、7、30日品类退单数
最近1、7、30日品类退单人数

  • 2.构建指标体系，对于需求进行指标分析，分析出每个需求对应什么类型指标

    • 各品牌的指标体系分析
      在这里插入图片描述

    • 各品类的指标体系分析
      在这里插入图片描述

  • 3.抽取派生指标，将刚刚思维导图中汇总的指标体系，梳理到表格中，抽取共用的派生指标
    在这里插入图片描述

  • 4.设计DWS层汇总表，根据刚刚梳理的指标体系表格，梳理出DWS层需要创建哪些表格。
    DWS层表名的命名规范为：dws_数据域_统计粒度_业务过程_统计周期（1d/nd/td）

    • 针对表格第一行和第二行，设计表格名：dwd_trade_tm_order_1d
    • 行信息规划：每行代表此品牌最近1天下单总数量
    • 列字段规划：品牌id,聚合后的值（下单次数），聚合后的值（下单人数），品牌的名称（可以加，可以不加，直接关联维度表即可）
    • 分区规划：每天计算，最近一日的汇总结果。按天创建分区，每天分区里面存放当天的汇总结果

  • 5.创建dwd_trade_tm_order_1d表格的DDL语句

    • 数仓表格设计的时候，尽量避免后期改表操作，怎么避免？
        1. 在DWS添加指标信息的时候，尽量考虑全面，参考维度是：DWD层的相关的表格的度量值。
    • 最近1天指标DDL语句如下：
create external table dws_trade_tm_order_1d
(
	tm_id string comment '品牌id',
	tm_name string comment '品牌名称',
	order_count bigint comment '最近1日下单次数',
	order_user_count bigint comment '最近1日下单人数',
	order_num bigint comment '最近1日下单件数',
	order_total_amount decimal(16,2) comment '最近1日下单金额'
) comment '交易域品牌粒度订单最近1日汇总事实表'
	partition by (dt string)
	stored as orc
	location '/warehouse/gmall/dws/dws_trade_tm_order_1d'
	tblproperties('orc.compress'='snappy')
  • 6.对于dwd_trade_tm_order_1d表格进行数据装载
    • 装载数据SQL如下：
insert overwrite table dws_trade_tm_order_1d partition(dt='2020-06-14'
SELECT
	tm_id,
	tm_name,
	COUNT(1),
	count(DISTINCT (user_id)),
	sum(sku_num),
	sum(split_total_amount)
from
	(
	SELECT
		sku_id, user_id, sku_num, split_total_amount
	from
		dwd_trade_order_detail_inc
	where
		dt = '2020-06-14' )od
left JOIN (
	select
		id, tm_id, tm_name
	FROM
		dim_sku_full
	where
		dt = '2020-06-14' )sku on
	od.sku_id = sku.id
GROUP by
	tm_id,
	tm_name;
  • 7.nd表的创建表格DDL语句：
create external table dws_trade_tm_order_nd
(
tm_id string comment '品牌id',
tm_name string comment '品牌名称',
order_count_7d bigint comment '最近7日下单次数',
order_user_count_7d bigint comment '最近7日下单人数',
order_num_7d bigint comment '最近7日下单件数',
order_total_amount_7d decimal(16,2) comment '最近7日下单金额',
order_count_30d bigint comment '最近30日下单次数',
order_user_count_30d bigint comment '最近30日下单人数',
order_num_30d bigint comment '最近30日下单件数',
order_total_amount_30d decimal(16,2) comment '最近30日下单金额'
) comment '交易域品牌粒度订单最近7日和30日汇总事实表'
	partition by (dt string)
	stored as orc
	location '/warehouse/gmall/dws/dws_trade_tm_order_nd'
	tblproperties('orc.compress'='snappy')
  • 8.nd表的数据装载
    • 存在1d表的数据，优先从1d表中获取，否则直接从dwd层事实表中获取。
insert overwrite table dws_trade_tm_order_nd partition(dt='2020-06-14')
select 
	tm_id,
	tm_name,
	sum(if(dt>=date_sub('2020-06-14',6),order_count,0)), //计算最近7天的数据
	sum(if(dt>=date_sub('2020-06-14',6),order_user_count,0)),
	sum(if(dt>=date_sub('2020-06-14',6),order_num,0)),
	sum(if(dt>=date_sub('2020-06-14',6),order_total_amount,0)),
	sum(order_count),
	sum(order_user_count),
	sum(order_num),
	sum(order_total_amount),
from dws_trade_tm_order_1d
where dt >= date_sub('2020-06-14',29)
group by tm_id,tm_name;
  • 9.nd表的装载语句存在重复计算的问题，一个下单用户 可能在30个分区都有，但是仅仅是一个下单用户，但在计算的时候，每个分区都有此下单用户，没有进行去重操作，那么相加完毕后，全部一个用户就变成了30个用户了，数据不准确了。
    • 怎样解决？
      • 1.从dwd层获取原始数据，最近7天，最近30天，dws层直接去重汇总即可。
      • 2.降低1d表的维度，之前表格不体现用户维度，现在表格体现用户维度，要重新修改1d表格。

2.DWS层设计二：考虑用户维度

  • 1.重新创建1d表 DDL如下：
create external table dws_trade_user_tm_order_1d
(
	user_id string comment '用户id',
	tm_id string comment '品牌id',
	tm_name string comment '品牌名称',
	order_count bigint comment '最近1日下单次数',
	order_num bigint comment '最近1日下单件数',
	order_total_amount decimal(16,2) comment '最近1日下单金额'
) comment '交易域用户品牌粒度订单最近1日汇总事实表'
	partition by (dt string)
	stored as orc
	location '/warehouse/gmall/dws/dws_trade_tm_order_1d'
	tblproperties('orc.compress'='snappy')
  • 2.1d表数据装载语句
insert overwrite table dws_trade_user_tm_order_1d partition(dt='2020-06-14'
SELECT
	user_id,
	tm_id,
	tm_name,
	COUNT(1),
	sum(sku_num),
	sum(split_total_amount)
from
	(
	SELECT
		sku_id, user_id, sku_num, split_total_amount
	from
		dwd_trade_order_detail_inc
	where
		dt = '2020-06-14' )od
left JOIN (
	select
		id, tm_id, tm_name
	FROM
		dim_sku_full
	where
		dt = '2020-06-14' )sku on
	od.sku_id = sku.id
GROUP by
	user_id,
	tm_id,
	tm_name;
  • 3.nd表的创建表格DDL语句：
create external table dws_trade_user_tm_order_nd
(
user_id string comment '用户id',
tm_id string comment '品牌id',
tm_name string comment '品牌名称',
order_count_7d bigint comment '最近7日下单次数',
order_num_7d bigint comment '最近7日下单件数',
order_total_amount_7d decimal(16,2) comment '最近7日下单金额',
order_count_30d bigint comment '最近30日下单次数',
order_num_30d bigint comment '最近30日下单件数',
order_total_amount_30d decimal(16,2) comment '最近30日下单金额'
) comment '交易域用户品牌粒度订单最近7日和30日汇总事实表'
	partition by (dt string)
	stored as orc
	location '/warehouse/gmall/dws/dws_trade_tm_order_nd'
	tblproperties('orc.compress'='snappy')

  • 4.指标体系调整：其他指标也需要跟着调整
    在这里插入图片描述

  • 5.对应需求矩阵
    在这里插入图片描述

  • 6.nd表的数据装载

    • 存在1d表的数据，优先从1d表中获取，否则直接从dwd层事实表中获取。
insert overwrite table dws_trade_user_tm_order_nd partition(dt='2020-06-14')
select 
	user_id ,
	tm_id,
	tm_name,
	sum(if(dt>=date_sub('2020-06-14',6),order_count,0)), //计算最近7天的数据
	sum(if(dt>=date_sub('2020-06-14',6),order_num,0)),
	sum(if(dt>=date_sub('2020-06-14',6),order_total_amount,0)),
	sum(order_count),
	sum(order_num),
	sum(order_total_amount),
from dws_trade_tm_order_1d
where dt >= date_sub('2020-06-14',29)
group by user_id ,tm_id,tm_name;

2.DWS层设计三 ：考虑用户+商品维度，形成DWS层汇总表

  • 直接考虑用户+商品维度，创建的表格，就不需要去考虑建表的时候的品牌维度和品类维度了。
  • 只创建一张用户+商品维度的DWS层表格，就可以直接提供给 品牌类需求使用，也可以提供给 品类需求使用，这样比较一下，上面几个设计在处理表的时候，较本设计模式增加了不少工作量；
    • 本设计模式，可以只提供一张表，然后供给品牌和品类需求使用。
    • 创建的DWS层表格粒度越小，将来服务的表格会越多。
最终建表方案：
  • 1.1d建表语句：用户+商品维度建表DDL语句：
DROP TABLE IF EXISTS dws_trade_user_sku_order_1d;
CREATE EXTERNAL TABLE dws_trade_user_sku_order_1d
(
    `user_id`                   STRING COMMENT '用户id',
    `sku_id`                    STRING COMMENT 'sku_id',
    `sku_name`                  STRING COMMENT 'sku名称',
    `category1_id`              STRING COMMENT '一级分类id',
    `category1_name`            STRING COMMENT '一级分类名称',
    `category2_id`              STRING COMMENT '一级分类id',
    `category2_name`            STRING COMMENT '一级分类名称',
    `category3_id`              STRING COMMENT '一级分类id',
    `category3_name`            STRING COMMENT '一级分类名称',
    `tm_id`                     STRING COMMENT '品牌id',
    `tm_name`                   STRING COMMENT '品牌名称',
    `order_count_1d`            BIGINT COMMENT '最近1日下单次数',
    `order_num_1d`              BIGINT COMMENT '最近1日下单件数',
    `order_original_amount_1d`  DECIMAL(16, 2) COMMENT '最近1日下单原始金额',
    `activity_reduce_amount_1d` DECIMAL(16, 2) COMMENT '最近1日活动优惠金额',
    `coupon_reduce_amount_1d`   DECIMAL(16, 2) COMMENT '最近1日优惠券优惠金额',
    `order_total_amount_1d`     DECIMAL(16, 2) COMMENT '最近1日下单最终金额'
) COMMENT '交易域用户商品粒度订单最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_sku_order_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
  • 2.nd建表语句：DDL语句
DROP TABLE IF EXISTS dws_trade_user_sku_order_nd;
CREATE EXTERNAL TABLE dws_trade_user_sku_order_nd
(
    `user_id`                    STRING COMMENT '用户id',
    `sku_id`                     STRING COMMENT 'sku_id',
    `sku_name`                   STRING COMMENT 'sku名称',
    `category1_id`               STRING COMMENT '一级分类id',
    `category1_name`             STRING COMMENT '一级分类名称',
    `category2_id`               STRING COMMENT '一级分类id',
    `category2_name`             STRING COMMENT '一级分类名称',
    `category3_id`               STRING COMMENT '一级分类id',
    `category3_name`             STRING COMMENT '一级分类名称',
    `tm_id`                      STRING COMMENT '品牌id',
    `tm_name`                    STRING COMMENT '品牌名称',
    `order_count_7d`             STRING COMMENT '最近7日下单次数',
    `order_num_7d`               BIGINT COMMENT '最近7日下单件数',
    `order_original_amount_7d`   DECIMAL(16, 2) COMMENT '最近7日下单原始金额',
    `activity_reduce_amount_7d`  DECIMAL(16, 2) COMMENT '最近7日活动优惠金额',
    `coupon_reduce_amount_7d`    DECIMAL(16, 2) COMMENT '最近7日优惠券优惠金额',
    `order_total_amount_7d`      DECIMAL(16, 2) COMMENT '最近7日下单最终金额',
    `order_count_30d`            BIGINT COMMENT '最近30日下单次数',
    `order_num_30d`              BIGINT COMMENT '最近30日下单件数',
    `order_original_amount_30d`  DECIMAL(16, 2) COMMENT '最近30日下单原始金额',
    `activity_reduce_amount_30d` DECIMAL(16, 2) COMMENT '最近30日活动优惠金额',
    `coupon_reduce_amount_30d`   DECIMAL(16, 2) COMMENT '最近30日优惠券优惠金额',
    `order_total_amount_30d`     DECIMAL(16, 2) COMMENT '最近30日下单最终金额'
) COMMENT '交易域用户商品粒度订单最近n日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_sku_order_nd'
    TBLPROPERTIES ('orc.compress' = 'snappy');
  • 3.指标体系和需求矩阵调整后结果
    在这里插入图片描述
    在这里插入图片描述

三、DWS层设计分析 - td 历史至今

1.以新增下单人数的需求为例

  • 需求如下：
    在这里插入图片描述
  • 如果根据需求指标来直接处理的话，可能计算量以及sql复杂程度很高，可以换一种思路来解决此类需求；
  • 维护一张表格，首次该用户下单的信息维护到这张表格里面，怎样整合这张表，需要根据dwd层全表数据进行汇总，然后将全量数据，根据需求进行逻辑计算，将所需数据维护到dws层的汇总表中，历史全量数据在首次导入的时候，进行sql处理后录入，每日新增数据只需要判断此表格有没有该用户记录即可，没有该用户直接插入表格。
  • 创建表格：表格命名：dws_trade_user_order_td
    • 每行代表信息：某用户首次下单信息，以及用户维度其他信息
    • 每列信息：与用户相关的维度信息都可以汇总到此表格中
    • 分区：按天创建分区，每天存放的数据都是历史至今的最新数据。
    • 具体表格创建语句如下：
DROP TABLE IF EXISTS dws_trade_user_order_td;
CREATE EXTERNAL TABLE dws_trade_user_order_td
(
    `user_id`                   STRING COMMENT '用户id',
    `order_date_first`          STRING COMMENT '首次下单日期',
    `order_date_last`           STRING COMMENT '末次下单日期',
    `order_count_td`            BIGINT COMMENT '下单次数',
    `order_num_td`              BIGINT COMMENT '购买商品件数',
    `original_amount_td`        DECIMAL(16, 2) COMMENT '原始金额',
    `activity_reduce_amount_td` DECIMAL(16, 2) COMMENT '活动优惠金额',
    `coupon_reduce_amount_td`   DECIMAL(16, 2) COMMENT '优惠券优惠金额',
    `total_amount_td`           DECIMAL(16, 2) COMMENT '最终金额'
) COMMENT '交易域用户粒度订单历史至今汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_order_td'
    TBLPROPERTIES ('orc.compress' = 'snappy');
  • 装载数据：
    • 如果每次都求dwd层表格中全量数据的话， 太损耗计算资源，可以基于前一日计算结果进行计算。这样比较高效解决数据问题。
  • 首日全量装载sql:
insert overwrite table dws_trade_user_order_td partition(dt='2020-06-14')
select
    user_id,
    min(dt) login_date_first,
    max(dt) login_date_last,
    sum(order_count_1d) order_count,
    sum(order_num_1d) order_num,
    sum(order_original_amount_1d) original_amount,
    sum(activity_reduce_amount_1d) activity_reduce_amount,
    sum(coupon_reduce_amount_1d) coupon_reduce_amount,
    sum(order_total_amount_1d) total_amount
from dws_trade_user_order_1d
group by user_id;
  • 每日增量装载sql:
  • 方案一：之间使用full outer join ,然后获取的数据进行判断即可
insert overwrite table dws_trade_user_order_td partition(dt='2020-06-15')
select
    nvl(old.user_id,new.user_id),
    if(new.user_id is not null and old.user_id is null,'2020-06-15',old.order_date_first),
    if(new.user_id is not null,'2020-06-15',old.order_date_last),
    nvl(old.order_count_td,0)+nvl(new.order_count_1d,0),
    nvl(old.order_num_td,0)+nvl(new.order_num_1d,0),
    nvl(old.original_amount_td,0)+nvl(new.order_original_amount_1d,0),
    nvl(old.activity_reduce_amount_td,0)+nvl(new.activity_reduce_amount_1d,0),
    nvl(old.coupon_reduce_amount_td,0)+nvl(new.coupon_reduce_amount_1d,0),
    nvl(old.total_amount_td,0)+nvl(new.order_total_amount_1d,0)
from
(
    select
        user_id,
        order_date_first,
        order_date_last,
        order_count_td,
        order_num_td,
        original_amount_td,
        activity_reduce_amount_td,
        coupon_reduce_amount_td,
        total_amount_td
    from dws_trade_user_order_td
    where dt=date_add('2020-06-15',-1)
)old
full outer join
(
    select
        user_id,
        order_count_1d,
        order_num_1d,
        order_original_amount_1d,
        activity_reduce_amount_1d,
        coupon_reduce_amount_1d,
        order_total_amount_1d
    from dws_trade_user_order_1d
    where dt='2020-06-15'
)new
on old.user_id=new.user_id;
  • 方案二：两部分子查询之间使用union all进行关联
SELECT
	user_id,
	min(order_date_first) ,
	max(order_date_last),
	sum(order_count_td),
	sum(order_num_td),
	sum(original_amount_td),
	sum(activity_reduce_amount_td),
	sum(coupon_reduce_amount_td),
	sum(total_amount_td)
from
	(
	select
		user_id, order_date_first, order_date_last, order_count_td, order_num_td, original_amount_td, activity_reduce_amount_td, coupon_reduce_amount_td, total_amount_td
	from
		dws_trade_user_order_td
	where
		dt = date_add('2020-06-15',-1)
UNION ALL
	select
		user_id, '2020-06-15', '2020-06-15', order_count_1d, order_num_1d, order_original_amount_1d, activity_reduce_amount_1d, coupon_reduce_amount_1d, order_total_amount_1d
	from
		dws_trade_user_order_1d
	where
		dt = '2020-06-15'
	GROUP by
		user_id ) t1
group by
	user_id ;

  • hive 中sql语法：

    • nvl(字段1，字段2) ：取两个字段中不为空的那个字段，如果都不为空，取前一个，两个都为空，就不取。

  • 开窗和分组

    • 开窗：在原有表格列的基础上，添加一列开窗列，可以基于此列进行分析数据
    • 分组：改变原有表格的粒度， 结果的粒度跟原来表格的粒度不一样了。

三、DWS层设计分析 - 总结

  • dws层设计要点：1d表表结构设计，nd表表结构设计，td表表结构设计，以及对应的数据装载。
    • 1d表表结构：
      • 行设计：派生指标的粒度决定的
      • 列设计：粒度的id，派生指标决定，设计时需要有一定的前瞻性，参考与之对应的dwd层的事实表的度量值
      • 分区设计： 按天分区，每天分区放的是当天明细的汇总结果，跟明细表分区对应
      • 数据装载：dwd层与之对应的明细表，从明细表中获取一个分区的数据，之后进行汇总，汇总完成后放到汇总表一天的分区里面。
    • nd表表结构：
      • 行设计：派生指标的粒度决定的
      • 列设计：跟1d表相比，多n维度字段，7d的指标，30d的指标
      • 分区设计：按天分区，截止当天的，最近N天的汇总数据
      • 数据装载：优先从1d表里面取数，如果没有1d表，那就去dwd层明细表取数。
        • 直接拿30天的求和，然后在sql里面加个判断，获取最近7天的数据，这样就可以通过一个sql实现不同周期的计算。
    • td表表结构：
      • 行设计：派生指标的粒度决定的
      • 列设计：派生指标决定
      • 分区设计：按天分区，每个分区里面存放历史截止当天的汇总数据。
      • 数据装载：
        • 首日： 从dws层的1d或者dwd层明细表获取全表数据，优先1d表。
        • 每日：首先拿前一天的分区结果，然后拿1d表或者明细表里今天的结果，做加法运算，join或者union。
Apache Minor Trend
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive中DWS层表的设计和优化
weixin_41367158的博客
03-12 113
确认事实，即得出指标。
简单搞定数仓搭建:数仓模型(DWS)
github_36444580的博客
08-18 1305
公共汇总粒度事实层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总指标事实表。公共汇总层的一个表通常会对应一个派生指标。 公共汇总事实表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS公共汇总层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个类目（例如：厨具）商品在各省的销售总额、该类目Top10销售额商品名称、各省用户购买力分布。因此，我们可以以最终交易成功的商品、类目、买家等角度对最近一天的数据进行汇总。 注意 聚集是不跨越事实的。聚
4.离线数仓—DWD层设计开发
yunweijie_cn的博客
02-24 1048
数仓DWD层设计开发前言一、DWD层设计分析1.设计要点1.1 设计依据1.2 存储格式1.3 存储格式二、DWD层实现1.交易域加购事务事实表1.1 分区规划分析1.2 建表语句1.4 数据流向分析1.5 首日数据装载1.6 每日数据装载2.交易域下单事务事实表2.1 分区规划分析2.2 建表语句2.3 首日装载2.4 每日装载 前言 前面完成了DIM层维度表的设计和开发，下面进行额DWD层事实表的设计和开发。 一、DWD层设计分析 1.设计要点 1.1 设计依据 DWD层的设计依据是维度建模理论，该层存
dws 分析表
weixin_39843430的博客
10-30 397
分析表： set search_path = "模式"; ANALYZE； 清除经常更新导致的磁盘碎片： VACUUM full + 表名；
dws中间表模型设计： 页面受访明细宽表
JinVijay的博客
04-02 2525
目标表结构 -- 目标表建表语句： create table dws.mall_app_pv_wide( url string ,session_id string ,guid bigint ,stay_long bigint ,ref_url string ,ts bigint ,is_new int ,fol
数据仓库之汇总层(DWS)设计概要
ytp552200ytp的博客
07-09 6804
数仓为什么要分层 合理的数据仓库分层一方面能够降低耦合性，提高重用性，可读性可维护性，另一方面也能提高运算的效率，影响到数据需求迭代的速度，近而影响到产品决策的及时性。建立数据分层可以提炼公共层，避免烟囱式开发，可见一个合适且合理的数仓分层是极其重要。 通用分层设计思路 ODS:操作型数据(Operational Data Store)，指结构与源系统基本保持一致的增量或者全量数据。作为DW数据的一个数据准备区，同时又承担基础数据记录历史变化，之所以保留原始数据和线上原始数据保持一致，方便后期数据核对
数据仓库维度建模实践-模型设计-网易03.pdf
10-30
数据仓库维度建模实践模型设计 在数据仓库维度建模实践中，模型设计是非常重要的一步。它强调从业务、数据存取和使用角度合理存储数据，以满足企业数仓的要求：强稳定、高质量、高效率、低成本。 一、数据仓库维度...
HCIP-GaussDB for DWS题库.docx
最新发布
08-20
【HCIP-GaussDB for DWS】是华为认证的高级数据仓库专家认证，涉及GaussDB(DWS)这款企业级数据仓库系统。本题库涵盖了数据库架构、数据仓库设计、GaussDB(DWS)产品优势、SQL兼容性、行业应用、数据分析以及数据库...
数据仓库维度建模实践-体系搭建-网易01.pdf
10-30
本文档介绍了数据仓库维度建模实践的基本概念和体系搭建方法，从数据仓库的定义到维度建模的应用，涵盖了数仓建设体系的总体架构、数据模型层次、业务过程和维度的梳理、数据域的划分等内容。 首先，数据仓库是一个...
数据仓库维度模型实践-数据规范-网易02.pdf
10-30
数据仓库维度模型实践-数据规范 本文讲述了数据仓库维度模型实践中的一些关键要素，包括模型层次调用规范、命名规范、指标命名规范等。通过这些规范，可以确保数据的一致性、高质量生产和可维护性。 一、模型层次...
TD数据仓库模型介绍及建模过程
06-14
TD数据仓库模型介绍及建模过程,文档详细描述TD数据仓库的建模方法
数据仓库维度建模实践-声波app-网易04.pdf
10-30
数据仓库维度建模实践-声波app-网易04.pdf 数据仓库维度建模实践是商业智能的基础，它为OLAP、数据挖掘提供分析和决策支持。本文总结了如何开始构建一个数仓模型、如何配置数据任务流调度、以及如何在自助取数上...
5.3 离线数仓—DWS层流量域汇总表设计实现
yunweijie_cn的博客
03-02 307
DWS层设计开发前言一、流量域会话粒度页面浏览汇总表1.最近1日汇总表1.1 建表语句1.2 数据装载二、流量域访客页面粒度页面浏览汇总表1.最近1日汇总表1.1 建表语句1.2 数据装载2.最近n日汇总表2.1 建表语句2.2 数据装载 前言 前面完成了交易域DWS层设计开发，下面进行流量域相关表的设计和开发。 一、流量域会话粒度页面浏览汇总表 1.最近1日汇总表 1.1 建表语句 说明：这里必须要做维度退化操作 DROP TABLE IF EXISTS dws_traffic_session_page
一文带你学习DWS数据库用户权限设计与管理
华为云官方博客
07-27 3166
我们将学习到DWS数据库权限管理的相关知识并进一步学会如何进行权限管理。
数仓开发之DWS层（二）
JiaXingNashishua的博客
11-28 1351
本节的数据来源于 Kafka dwd_trade_pay_detail_suc 主题，后者的数据由 payment_info、dwd_trade_order_detail、base_dic 三张表通过内连接关联获得，这一过程不会产生重复数据，因此，该表的重复数据由订单明细表决定。对回撤流数据生成过程进行分析，可以发现，字段内容完整数据的生成一定晚于不完整数据的生成，要确保统计结果的正确性，我们应保留字段内容最全的数据，基于以上论述，内容最全的数据生成时间最晚。最后将状态中的支付日期更新为当日。
数仓建模宽表设计
ytp552200ytp的博客
06-14 804
数仓建模宽表设计
10.数据仓库搭建之DWD层搭建
Mmj666的博客
07-14 2928
10.数据仓库搭建之DWD层搭建
数据仓库基础入门
曹健的博客
04-30 535
数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，...
如何处理数据仓库的DWS层
认知 行动 坚持
04-18 1530
关于数据仓库的分层，似乎我们都有共同的理解。但这是关于每个层应该如何建模的，也许每个人都有自己的理解。数据建模无疑是数据仓库建设的重中之重，那么在实际的开发过程中，大量的时间会花费在需求开发上，数据建模常常被忽略（在特殊的DWS层建模中）。 从长远来看，数据模型变得越来越混乱，指标的口径无法统一，结果是：尽管有很多表，但是很难获取数据。本文主要介绍DWS层建模的基本方法，希望对您有所帮助。 为什么要对数据仓库进行分层 合理的数据仓库分层一方面可以减少耦合，提高重用性，可读性，可维护性，另一方面还可以提高
离线数仓分层事如何设计的
07-29
离线数仓的分层设计通常包括贴源层（ODS）、明细层（DWD）、维度层（DIM）、轻度聚合层（DWS）、主题层（DWT）、数据中间层（DWM）和结果展示层（ADS）\[1\]。 贴源层（ODS）是数仓中最底层的层次，用于接收和存储原始数据。在这一层，数据被抽取、清洗和转换为可用于后续处理的格式。 明细层（DWD）是在贴源层之上的一层，用于存储经过处理和加工的原始数据。在这一层，数据被进行清洗、整合和转换，以满足业务需求。 维度层（DIM）是用于存储维度数据的层次。维度表是基于原始数据层提取公共指标进行维度建模的结果\[2\]。在这一层，维度数据被提取出来，并与事实数据进行关联。 轻度聚合层（DWS）是在明细层之上的一层，用于存储经过聚合的数据。在这一层，数据被进行聚合操作，以提高查询性能和减少数据量。 主题层（DWT）是在轻度聚合层之上的一层，用于存储按照业务主题组织的数据。在这一层，数据被按照业务主题进行组织和汇总，以支持特定的分析和报表需求。 数据中间层（DWM）是用于存储数据处理过程中的中间结果的层次。在这一层，数据被用于支持数据处理的各个阶段，例如数据清洗、转换和集成。 结果展示层（ADS）是数仓中最顶层的层次，用于存储最终的分析结果和报表数据。在这一层，数据被用于生成各种分析报表和可视化展示。 离线数仓的分层设计可以根据具体业务需求和数据处理流程进行灵活调整，但通常遵循以上的基本分层结构\[1\]。 #### 引用[.reference_title] - *1* *2* [离线数仓分层（基础）](https://blog.csdn.net/wind96/article/details/127641942)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [离线数仓 (八) --------- 数仓分层](https://blog.csdn.net/m0_51111980/article/details/127491547)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值