为什么做数据质量
结合以往的工作经历,一般是运营操作运营系统,突然发现某个数据异常或者延迟,这时候就需要数据开发部门来核对, 数据部门人员在核对的时候无法快速定位到问题,排查了很长时间,,, 届时面临两个问题:
1、被业务方投诉!
2、故障出现之后导致上下游的任务都受影响,修复成本极高!
数据质量问题的根源
1、业务系统变更:包括表结构变更,源系统环境的变更,数据格式异常等。
2、数据开发的bug,数据任务变更导致数据异常。
3、基础设施不稳定,高可能节点的失效导致数据的读写功能失效导致数据异常。
4、数据迁移中的异常。
5、等等等,,,
因此,我们要对数据数据质量要早发现,早恢复!
数据质量具体措施:
1、添加稽核质检任务,来发现问题,确保数据的完整性,一致性,准确性等等。
2、建立全链路的监控:可以基于血缘关系建立全链路的数据质量监控。
3、通过智能预警,确保任务的按时产出,延迟或者异常时候报警。
4、针对数据的重要性,可以划分数据等级,可加快恢复速度。
上文是我对数据质量较根本的问题的一些学习和思考,基于此和我们实际情况提出几点想法仅供设计者参考:
1、接通企业微信告警/钉钉告警等告警功能,发送消息到对应的群或人通知报告产出 和异常告警。
2、为简化操作流程和概念,我们可以保留规则,任务的概念,将条目和规则的配置合并一起,减少操作流程。
以下是阿里云的一个页面: