第五章 节点开发

本文介绍了大数据数仓的开发规范,包括DDL建表语句的注意事项,如表和字段的描述信息、生命周期管理、字段类型选择以及各层表的命名规范。强调了统一维度和UDF自定义函数的重要性,以及数仓的可扩展性。此外,详细阐述了调度配置的细节,如调度周期、依赖关系和并发执行策略,并提到调度测试在上线前的必要性。
摘要由CSDN通过智能技术生成

1、DDL建表语句

  • 表和字段必须有描述信息
  • drop表前面加上IF EXISTS判断
  • create表前面加上IF NOT EXISTS判断
  • 设置合理的生命周期,保证有用的历史数据不被删除,同时避免存储资源浪费
  • 使用常见的字段类型 DataTime、Bigint、Double、String,如使用其他字段,需要项目组评估

各层表命名规范:

  • ODS层:按业务系统进行分域,如tb_vms_tm_vehicle_h(表类型&主题域_业务系统_源表名_更新频率)
  • DWD层:按数据主题进行分域,例如t_sl_tm_vehicle_h(对象类型_[DIM]_一级主题域_二级主题域_表名_更新频率)
  • DWS层:按业务主题进行分域,例如t_car_sl_sale_detail_h(对象类型_一级主题域_二级主题域_表名_更新频率)
  • ADS层:按业务部门、需求编码进行分域,例如t041_sl_sale_deail_h(对象类型&编号_业务部门_表名_更新频率)

2、统一维度和UDF自定义函数

这一些很重要,如果不在数仓开发前期进行规范和统一,就会出现多个项目

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十五楼亮哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值