数据治理
1. 简述⼀下什么是数据治理?
数据治理是指通过制定策略、规程和程序,确保数据在整个⽣命周期内保持⾼质量、易于访问和安全 性。它涉及到制定数据标准、数据分类、数据质量、数据安全等⽅⾯的政策和流程,旨在确保数据在组 织内得到正确使⽤和管理。
2. 谈谈你对数据质量的理解?
数据质量是指数据的准确性、完整性、⼀致性、可靠性、及时性和有效性等⽅⾯的程度。它是⼀个组织 内部数据管理的核⼼问题,对数据分析和决策制定有着重要影响。
3. 如果保证数据的质量?
事前:定义数据的规则,统⼀⼝径(⽐如购买途径在业务库那边是什么1234这种,我们需要把它case when 转换成字符串,什么安卓、苹果、⾯谈这类的,年⽉⽇⼩时分钟秒,我这边都转成⼀致的字段) 事中:确认数据的完整性和唯⼀性(⽐如ODS层和业务数据进⾏数据量的对⽐,唯⼀性--count(主 键)和count(distinct主键)校验不等相等就告警了,定期清洗检查)
事后:问题追踪,告警整改,异常的任务会通知到相关⼈员去解决