结合这段时间做数据质量分析的过程,构思了数据质量探查工具的实现思路(下图)。简单来说,这个工具应该是基于对表数据的分析结果,归纳并定义出质量检查规则,这两个过程应该是反复迭代进行。其中,
- 数据探查部分是要实现一个对表数据进行探索式分析的功能,将与质量检查相关的内容内置为分析项,由用户根据字段元数据进行选择分析项目,最后根据分析数据确定是否要纳入质量检查范畴,并设计检查规则;
- 质量规则部分允许用户在分析数据的过程中,随时将归纳出来的质量规则加入每个表的质量检查规则库。同时也支持用户在查看质量报告的过程中,随时下钻查看问题数据。