经验总结2—任务时效性

1、如果开发的脚本较多,哪些数据完成了对比,一定要确认并记录下来,别鸡爪似的东挠一下西挠一下,否则后面又要返回去确认一下,有一是一,落到实地

2、在开发前先制定一个命名规范,比如验证数的excell,可以是车队指标集合_二级机构_日表_数据验证

3、对于已经完成的新旧表结构和脚本,如果后续需要经常复制粘贴,又怕不小心损坏原脚本,可以对脚本进行权限设置,设为只读或加密码

4、建表前一定要确认表是否已经存在,尤其是修改生产已有的任务,否则会删除已有表数据,在测试环境做开发测试的时候,最好复制原表结构并加上_XX后缀作为自己的表,开发完成后再对原表进行alter修改

5、在新需求开发前,先考虑下时效性问题,如果要新增依赖任务,看下这个任务什么时候跑完,如果很晚跑完,会不会对原任务的运行造成影响,如果是,可以考虑从该依赖任务的上游取数

6、在需求开发完成后,等待发版的时候,可以先准备发版后的验证准备工作,比方拷贝生产表数据到测试环境,方便重跑任务后与原生产表数据作对比,尤其是全量表不是分区表,否则发版后下发任务会将原表数据覆盖,无法与原数据进行对比

7、如果别人发了邮件或消息找你做什么事,看到后一定要先回复下收到,不要让别人一直等你,等你做完了再回复已经太晚了

8、做事情一定要认真,尤其是修改一个运行时间比较久的脚本时,否则疏忽一个地方,会导致任务重跑,而漫长的运行时长,代价很大

9、做case when 判断的时候,一定要考虑空值问题,null问题很大

10、对于每次从全量表中框时间范围来取数的任务,不同时间跑出来的数据很可能是不一样的,所以对数的时候,就要把生产和测试任务在同一个时间跑,不然很可能对不上

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值