数仓规划建议

数仓规划建议

1、将数仓平台账号收归统一管理,防止出现同一张业务表被重复同步到数仓平台或者自己的业务流程被别人误运行。(有些业务流程是不能被重复运行的)
2、对数仓平台的表命名进行统一规范。针对ods、dw、ads 层级最好加上对应前缀,方便区分层级和分析。针对ods层,因为这个是拉取业务系统的表,我们业务系统非常多和复杂,所以我们是会加上库名_t_表名。
3、对目前的存在的表进行排查,同一张业务表同步到数仓平台上的时候一般情况下应当只能同步成一张表(有些是表命名没有规范,导致重复命名),除了要做类实时的表,只需要同步部分数据除外(这种应当加上标识,是同步多久的表)。
4、对目前的表所属的业务场景进行归类,划分主题域,对属于不同主题的dw表进行重新建模,并重新按照第2条的命名规范命名。主题域一般有销售域、售后域、物流域、仓储域等。这种一般是按自己公司的实际的业务场景,达成共识。
5、对主题域划分之后,对每个域构建一致性维度,构建对应的维度模型。维度建表的时候,根据维度访问频繁是否,更新频繁或者变化缓慢进行拆分。维表的命名建议:dim_主题域_表名_分表规则(分表规则就是分区规则,一般按照日期分区就好,按日期就加个_day)
6、事实表这块,将每个主题域重复的事实表进行去重,按主题域的方式进行整合,有相同字段相同含义的放入一张事实表中,无法合并的就单独放其他事实表。
7、在划分主题域建模之后,看表的调用情况,看有多少跨层调用的情形,ads层尽量不要跨层调用ods层级。对这种跨层调用的情形,具体情况具体分析,改调用现有的dw层的表,如果无法直接调用,可以重新建个对应的dw层级表或者改造之前的表。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值