数据质量提升

1 数据治理

1 参考链接

有赞数据治理之提质降本 - 知乎

2 数据质量检测规则

1 连续几个周期下降

select 
    count(1)
from 
    (
        select
            dh,
            sum(go_in) as cnt
        from
            table_name
        where
            concat(dt,dh) >= '$[yyyymmddhh24-3/24]'
            and concat(dt,dh) <= '$[yyyymmddhh24-1/24]'
        group by 
            dh
    ) aa -- 当前周期
join
    (
        select
            dh,
            sum(go_in) as cnt
        from
            table_name
        where
            concat(dt,dh) >= '$[yyyymmddhh24-27/24]'
            and concat(dt,dh) <= '$[yyyymmddhh24-25/24]'
        group by 
            dh
    ) bb -- 上个周期
    on aa.dh = bb.dh
where
    aa.cnt < bb.cnt -- 下降判断
    and (1- aa.cnt/bb.cnt) > 0.05 -- 下降幅度判断
;

---