离线数仓dqc规则告警调研

测试DQC规则统计

 

1、数据完整性

完整性指的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失；

规则1：每日表中的新记录数>0

--每日表中的新记录数>0
 SELECT COUNT(1) FROM ${tableName} WHERE pt = '${bizdate}' ;

规则2：全量表分区数据量级校验，t-1日比t-2日多

--全量表分区数据量级校验 
select round(this_pt_cnt/decode(last_pt_cnt,0,1,last_pt_cnt),8) rate from ( select count(case when pt=$[yyyymmdd-2] then 1 end) last_pt_cnt, count(case when pt=$[yyyymmdd-1] then 1 end) this_pt_cnt from ${tableName} where pt>=$[yyyymmdd-2] ) ;

规则3：每天新增的记录数波动范围监控

某一天你发现数据量出现大幅增长或下降，这种波动可能是正常的，比如遇到大促或者搞营销活动日，但是也可能这就是异常的，是因为从源系统抽取了重复的记录。所以针对此种情况，我们也要制定数据质量规则，检查这些波动何时发生，并主动进行诊断。比如自动执行的一个简单的SQL过程，每天检查C