大数据之数据质量

一、数据质量评估

1. 完整性

2. 准确性

3. 及时性

4. 一致性

二、如何提升数据质量

1. 事前定义数据的监控规则

提炼规则：梳理对应指标、确定对象（多表、单表、字段）、通过影响程度确定资产等级、质量规则制定

2. 事中监控和控制数据生产过程

• 质量监控和工作流无缝对接
• 支持定时调度
• 强弱规则控制ETL流程
• 对脏数据进行清洗

3. 事后分析和问题跟踪

• 邮件短信报警
• 稽核报告查询
  数据质量报告的概览、历史趋势、异常查询、数据质量表覆盖率
• 问题分析
  异常评估、严重程度、影响范围、问题分类
• 表打分和质量趋势
• 报警问题跟踪处理
  参考博文