子系统4:数据清洗和质量处理系统
数据清洗是指修改进入到ETL流程中的业务定义的脏数据。一般而言,我们反复强调数据清洗应当在数据源进行。但是原始数据的质量一般都不能满足数据仓库的需求,或者,原始数据清洗后,在数据仓库进行数据质量检查时,无法发现原始数据的质量问题。因此,一般都在ETL过程中进行数据清洗。其优势在于:
1、在数据剖析阶段,就能知道哪些数据是错误数据
2、在源系统中需要的数据清洗规则,同样可以加在数据的ETL阶段
3、最终使用数据的业务人员可以指导ETL过程中,哪些才是真正有效的数据。
数据清洗是指修改进入到ETL流程中的业务定义的脏数据。一般而言,我们反复强调数据清洗应当在数据源进行。但是原始数据的质量一般都不能满足数据仓库的需求,或者,原始数据清洗后,在数据仓库进行数据质量检查时,无法发现原始数据的质量问题。因此,一般都在ETL过程中进行数据清洗。其优势在于:
1、在数据剖析阶段,就能知道哪些数据是错误数据
2、在源系统中需要的数据清洗规则,同样可以加在数据的ETL阶段
3、最终使用数据的业务人员可以指导ETL过程中,哪些才是真正有效的数据。