技术16期:如何更好的保证数据质量【大数据篇】

数据质量管理涉及方法论、技术、业务和管理,通过设定数据质量标准,控制数据加工过程,确保数据准确性、唯一性、完整性、一致性、关联性和及时性。技术层面如数据模型设计、数据源质量控制等会影响数据质量,业务层面的需求不清晰和输入不规范也会带来问题,管理层面的数据输入规范和质量控制机制也至关重要。通过代码核查和发布核查,可以在各个环节保障数据质量。
摘要由CSDN通过智能技术生成

数据质量管理不单纯是一个概念,也不单纯是一项技术、也不单纯是一个系统,更不单纯是一套管理流程,数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。

 

通过有效的数据质量控制手段,进行数据的管理和控制,消除数据质量问题进而提升企业数据变现的能力,一切业务、技术和管理活动都围绕这个目标和开展。

 

 

数据质量问题

 

数据质量问题通常会存在以下几个方面的问题,通常对数据质量的评估也是围绕这几个维度进行的。

 

 

  • 数据准确性:用于分析和识别无效或者不准确的数据,不可靠的数据可能会导致严重的问题。

 

 

  • 数据唯一性:用于识别和度量重复数据、冗余数据,重复数据是导致业务无法协同、流程无法追溯的重要因素,是需要解决的最基本的数据问题。

 

 

  • 数据完整性:唯一性约束不完整、参照不完整;数据条目不完整、数据记录丢失或不可用;不完整的数据所能借鉴的价值就会大大降低,也是数据质量问题最为基础和常见的问题。

 

 

  • 数据一致性

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值