数据治理与ETL流程关系

这篇文章，浅谈数据治理与ETL流程关系。
我认为可以从这几个方面去讨论数据治理（Data Governance):一致性、准确性、关联性、完整性、及时性。他们都和ETL实施起来流程密切相关。

1、一致性：随数据传输文件一起传输过来的还有check_log表文件。ETL加工之前检测check_log表中得record_count value和select count(*) from table做比较，只有通过检测，才进行下一步ETL装载。否则程序abolish。

2、准确性：检测check_log表中money_column_name和sum(money_amount)，对比select sum(money_amount) from table。
3、关联性：主表进行左关联非空验证。select count(a.index_id) from main_table a left join slave_table b on a.index_id=b.index_id where b.index_id is null, 这个验证发生在ETL加工载入到ODS层后，因此关联性校验并不会影响ETL进度，只是需要人工查验原因并给出补救措施。
4、完整性：对所需字段进行非空和码值校验。
select count()from table where column_A is null;
select count() from table where column_A not in ( 1,2,3);
记录数为0则代表通过非空和码值校验，否则进行预警，并人工查看未通过原因并提供原因给到源端，不影响跑批。

5、及时性：规定时间内检查目标文件夹内是否到了check_log文件，如果存在则通过及时性校验。如果不存在，则预警通知运维和源端，整体跑批流程进入下一个循环。