ETL架构师面试题（四）



数据质量

一．数据质量检查的四大类是什么？为每类提供一种实现技术。

       数据质量检查是ETL工作中非常重要的一步，主要关注以下四个方面。

1．正确性检查（Corret）

检查数据值及其描述是否真实的反映了客观事务。例如地址的描述是否完全。

2．明确性检查（Unambiguous）

检查数据值及其描述是否只有一个意思或者只有一个解释。例如地名相同的两个县需要加区分方法。

3．一致性检查（Consistent）

检查数据值及其描述是否统一的采用固定的约定符号来表示。例如币别中人民币用'CNY'。

4．完全性检查（Complete）

完全性有两个需要检查的地方，一个是检查字段的数据值及其描述是否完全。例如检查是否有空值。另一个是检查记录的合计值是否完全，有没有遗忘某些条件。

二．简述应该在ETL的哪个步骤来实现概况分析？

       数据概况分析是对源数据内容的概况进行分析，应该在项目的开始后尽早完成，它会对设计和实现有很大的影响。在完成需求收集后就应该立即开始数据概况分析。

       数据概况分析不光是对源系统的数据概况的定量描述，而且为ETL系统中需要建立的错误事件事实表（Error Event Table）和审计维度表（Audit Dimension）