数据治理 之 数据质量

毕业6年，一直在数据领域摸索，每每说到数据，大家都会想到数据为王，一提到数据价值，大家都会想到支撑业务决策。

数据要发挥价值，不是有数据就可以了，如果公司收集了一堆脏乱差的数据，不仅仅起不到支撑决策的作用，反而适得其反。这个时候就不得不提出数据质量了，只有数据质量高，数据才能发挥正向的价值。

每家公司的数据都会存在或多或少、或重或轻的数据质量问题，根据过往在数据质量这块儿的投入，数据质量问题需要分两个大方向来探讨：事后发现的数据质量问题、事前监测的数据质量问题。

我们先来讲讲事后发现的数据质量问题，该如何去定位、归因并解决吧？

前提：事后发现的数据质量问题，基本都是各数据使用人员在使用过程中发现的，此时我们需要做的就是建立数据质量问题池子，将搜集上来的数据质量问题都放在池子中。

1. 圈定数据质量问题范围
   大公司一般业务线繁多，每条业务线的数据又多，每类业务数据的数据质量问题也是数不胜数，自然不能一把抓，否则跟进起来不仅乱还没有重点更分散精力。建议按照业务的重要程度决定什么业务数据质量问题先行。当然，如果公司自上至下去推动不同业务部门去治理各自的数据质量问题，那就另当别论了。

2. 建立数据质量问题评估模型
   数据质量问题范围圈定了，但在面临某类业务的诸多数据质量问题时还是很头大，那丛哪个问题先入手呢？这里就涉及到数据质量问题的评估模型了，可以先从准确性、及时性、完备性、一致性、有效性、唯一性将数据质量问题分为6大类，再进一步评估每个数据质量问题的影响曾本：比如一个准确性问题，数据的不准确度达到多少？

3. 数据质量问题归因
   明确了问题，需要进一步去定位是什么因素导致了这个问题。这个时候就是去疏通和了解业务的时候了，你需要明确的知道这个数据从产生到出现问题的这一步经历了哪些系统和操作，然后从后往前依次去拉通相关的业务人员，确定问题出在哪一环节以及问题产生的根源。根据我在某科技公司的总结，数据问题的根源主要有三种：业务系统维护/操作不规范、系统设计有缺陷、逻辑不统一

4. 制定方案－评估方案－推进解决
   在明确了数据质量问题的根源后，我们需要去制定可行的解决方案（如果涉及到多方或多系统，还需要先评估每一方／每个系统对问题的贡献，以此判定改造的必要性及优先级），然后继续拉通相关业务去推动方案执行，解决这个问题。

5. 建立监测防控体系
   已经推动问题解决了，是不是就表示万事大吉了呢，答案自然是no，因为问题很有可能会再次出现，这个时候就需要建好堤坝 － 监测防控，防止此类问题再次出现。
   留个思考：监测防控体系该如何建设呢？

最后说明：数据治理工作是业务为主导，拉通数据、研发人员，拉通全业务流程的工作。