数仓开发,分层(ods,dw,app层)

1、从数据源中导入源数据,到ODS表,作为事实表的数据

2、可以根据自己的开发设计,是否单独分支出来一个维度表,帮助和协助处理源数据表ODS层

和需求层ADS(APP)层

3、现在我们有了一个事实ODS层,和一张维度DIM层

4、根据需求我们可以开始数仓建模,通过维度建模

      星座模型去通过多个维度表,来关联一张事实表,减少数据的冗余

5、DIM维度介绍

通过这些维度,来进行操作,维度好像大树的树枝可以帮助处理过滤数据

可以在维度表中,先筛选出一些数据,对数据进行清洗转化,例如:可以拉宽大表,替换字段等等

6、通过某些指标我们可以确定ADS层的表

例如:门店商品销售天表,城市商品销售天表,门店第一分类商品分析天表,门店第二分类商品分析天表,门店第三分类商品分析天表

7、在这些简短的需求中,我们可以确定,利用时间维度,可以拥有一天的时刻,向下划分为时刻1quarter=15分钟,可以更精准的帮助我们获取数据,这就为我们在以后数仓开发准备条件 

8、从ODS层我们可以获知有关于门店的销售明细,详情,线上支付,商城支付,商城订单,商城退款,商城退款明细,商城退换货————————这些都是有关于销售有关的数据表

再比如:关于订单的表,我们可以分为订单的进货(要货)表,调入,调出,收货,退货,退配,相关的信息

9、通过以上总结这些可以,很快的得知,我们在数仓开发中,DW层,可以分为几层

DWD  事实表和维度表关联,同时对数据进行过滤
DWM 将相关联的数据表合并 ,轻度聚合
DWS  将相同主题下的表数据统一关联在一起

可以很快的匹配需求

10、DW第一层我们就可以把,ODS层里面的销售,订单表,都汇总到第一层来,有一张所有商品订单的大表,从线上支付,商城支付就可以分成,线上和线下支付,从退款,换货,我们可以把他理解成为一个词叫核销,是否订单交易成功,支付金额,在订单表中,也可以从退换货分成库调表,退是返回库中,换是从库中拿取物品

11、每一步的细化,在第二层中,各种核销表又可以汇总到商品的损耗中来,从而多到一中去,把时间维度从天变成刻,数据精细化,却不冗余

12、最后一层数仓,把所有的订单汇总到,已经核销的商品详细信息中来,而支付层面就汇总到支付层面的已核销表中。

  • 25
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值