数据质量控制与数据治理

数据质量管理 专栏收录该内容
1 篇文章 1 订阅

数据质量控制与数据治理
背景
对于一个公司来说,最重要的资产是数据,数据的核心价值可以理解为核心商业价值,我个人认为是体现在两方面,一是能为企业带来更多的盈利,二是能为企业规避风险。
实现数据价值就需要进行业务数据分析和价值挖掘,对于大多数数据分析师来说,数据分析方法和技术都不存在问题,只要有干净完备的数据,数据价值都可以得到呈现,但是如果数据本身是错的,分析出来的结论未必有用,保证数据质量是大数据为企业带来价值的先决条件。但是大部分企业尤其是传统型企业,对于数据资源没有质量管理意识,也不懂得如何进行数据治理,导致数据质量很差,主要体现在以下几方面:数据缺失、数据孤岛、数据失真等,导致无法利用数据资源获取更多的商业价值。
数据是资源、数据分析是工具、数据结论是价值。工欲善其事必先利其器,同样,资源不储备好,再牛逼的工具也无从下手,下文重点讨论企业如何做数据质量管理和数据治理。
如何做数据质量控制和数据治理
首先说一下怎么评估企业数据质量好坏呢?从数据分析的角度或者叫数据价值的角度理解,优质数据需要在任何时候都可以被企业所信任,并且满足所有业务需求。
重点在于两点:第一是可被信任的,要求数据必须真实可靠,能够真实的记录企业运营情况;第二是可以满足需求,要求数据服务于业务,从最基础的业务监控到商业决策,都可以通过数据给出答案。
数据质量评估六要素:完整性、规范性、一致性、准确性、唯一性、关联性;
数据质量控制和数据治理就是以元数据为基础,实现企业数据优化的循环管理过程,起点是业务需求,重点是满足业务需求。
数据质量控制与治理方法论:
在这里插入图片描述
质量问题来源
任何质量问题改善都建立在评估的基础上,知道问题在哪里才能实施改进。数据质量问题来源按照不同的分类有不一样的问题定位,本文中关于数据质量控制与数据治理借助数据流图来说明。
数据流图也称为数据流程图date flow diagram , DFD,是一种便于用户理解和分析系统数据流程的图形工具,他摆脱了系统和具体内容,精确的在逻辑上描述系统的功能、输入、输出和数据存储等,是系统逻辑模型的重要组成部分。它从数据传递和加工的角度,以图形的方式刻画数据流从输入到输出的移动变换过程,所以它可以用来做数据质量问题定位。
标准化的系统设计,数据流图会在系统需求分析阶段完成,但是大部分的系统开发都没有进行标准化的数据流图,需求后期进行完善,具体的数据流图画法不做赘述。
案例分享
以某公司CRM系统数据为例,目前一个业务需求为分析什么样的客户特征(toB类型)可以带来更高的收益,因为业务特殊性和行业有很大的关系,就以行业数据来说明。把业务需求转化到数据需求就是一批高质量的数据(包含市场活动表、客户表、商机表、签单表等);确认数据逻辑,画出数据流图(只做简单说明): 在这里插入图片描述
数据质量评估,客户行业数据一致性不足40%,无法确定哪个步骤的行业输入更加准确,数据分析可信度不高,业务影响大;问题定位在一个属性数据多个输入,无修改纠正,多个数据并存;整改方案经过沟通确定如下,通过市场部获取的客户已市场部输入为准,后续步骤默认填充,销售自己渠道获取的客户以销售输入为准,后续步骤默认填充。方案实施改进,宣导至所有干系人;对历史数据经过数据加工进行处理,后续数据采用新逻辑,评估改进后的数据一致性,确认能否满足业务需求。

  • 1
    点赞
  • 1
    评论
  • 10
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值