套用这8种数据治理方法,解决90%的数据治理问题

168 篇文章 16 订阅
94 篇文章 12 订阅

转载/大数据构架师

前些天,有客户问我,数据治理到底该怎么做?这个问题问的我是一时语塞。因为是在客户现场,我只能根据他的实际情况,针对性的提了一个方案。不过,这客户还真的是做了一些工作,然后就开始讨论起来:那谁谁谁,都是这么做的,我们能不能也这么做?

说实话,我是比较喜欢这种客户的,因为这代表他在思考问题。我最害怕的客户是把你丢一边,啥支持也不给,最后管你要高质量的结果。这八成是要坏事的。

当时跟客户聊了很久,但都是聊到哪算那,也不系统,今天趁着有点时间,整理一下,贡献给大家,仅供参考。

共分为8种方法,分别是:顶层设计法、技术推动法、应用牵引法、标准先行法、监管驱动法、质量管控法、利益驱动法、项目建设法。
在这里插入图片描述
事先声明,这些方法论都是向各位大佬学习来的,也有部分是项目中实操得来的,并非老彭原创。

01 顶层设计法

顾名思义,顶层设计法就是先做一个数据治理顶层设计的规划,然后按照规划执行即可。做过咨询的彭友都知道,顶层设计、战略咨询都会根据战略目标拆解KPI,然后设立对应的支撑项目,并且根据优先级别进行排序,最后形成一个执行的路径。今年做什么,明年做什么,先做啥,后做啥,都规划的清清楚楚明明白白。之后就按图索骥就行。大致的逻辑就像下图一样:
在这里插入图片描述
这样的好处很明显,先有面,再有线,最后是各个点状的项目,一点点的落实,效果自然没的说。

但是这样的方案是非常非常奢侈的,因为这种方案见效慢,对组织的要求非常非常高。耐得住性子的组织很少,通常都要快速见效。

基本上也只有一些政府单位和极少数的企业使用这种方式获得了数据治理的成功。

02 技术推动法

有敏感的朋友已经察觉出来了,这里叫“技术推动法”,而不是技术引领啥的。

其实这种方法是绝大多数企业采用的数据治理方法。要说原因么,其实很简单,因为数据治理项目大多是在信息部门立项和实施的。

既然是技术部门的事儿,那当然是技术部门推动了。讲真,我见过太多类似的事情,很少有效果很好的。

《华为数据之道》里说要“业务主导”,话是真没错,但几乎没有做到的。原因很简单,屁股决定脑袋。业务负责人的主责主业是搞业务,根本不会野不可能要主动做数据治理的事情。

技术驱动的套路没啥说的,就是针对数据问题,从技术层面进行解决。套路就是信息系统建设的逻辑,立个项,做调研,各种概要设计、详细设计,各种开发、集成、测试、部署,然后验收。
在这里插入图片描述效果么,一般吧。因为大多是问题导向,频繁“打补丁”式的建设。到最后往往就是各种爆炸,报表爆炸,指标爆炸,数据问题爆炸。然后开始上指标系统、数据质量系统,一个补丁贴一个补丁,到最后谁都不敢动了。

归根结底,就是因为数据的问题是一个系统性的,技术层面的原因只是其中之一而已。造成这种现象的原因就是业务参与度不够。

在企业,谁挣钱,谁的话语权就大。业务自然是利润中心,而技术一般都是成本中心。纯让技术去推动数据治理,就像是让儿子督促爸爸戒烟一样不靠谱。

03 应用牵引法

如果说技术推动是小孩推车,那么应用牵引则是壮牛拉车得心应手啊。有应用在前面牵引,后面的各种事情就显得非常自然。

很多企业建数据体系都喜欢先弄一个大屏不是没有道理的。因为没有“用”的东西是没有价值的。

大屏虽然用户比较单一,实用价值比较低,但毕竟还是有使用场景的,比单纯没有使用场景的纯技术开发建设强的不是一星半点。
在这里插入图片描述以数据应用为牵引,反向要求各链路的数据高质量供给,促进数据治理体系的建设,也是一个很好的选择。

但是这种方式做数据治理,始终还是会陷入到片面、局部胜利的结果。有应用的地方,数据质量就能得到治理,没有应用的数据质量就没人管了。

04 标准先行法

讲真,标准现行法的真实案例我只遇到过极少数的几个,其中就有某部委。我当时接手做这个项目的时候,把甲方情况跟彭友们分享,他们都惊呆了!居然有这么好的客户!

甲方在建业务系统的时候,把数据标准和业务系统绑定起来。所以他们在做信息化建设的时候,就已经把所有的数据标准都已经建立好了。

我过去的时候,发现数据治理真的就这么简单,完完全全就是一个纯技术活儿,不用考虑人的因素。

所有表都是按照统一的数据模型建设的,所有字段中的键值都在最新发布的数据字典里,甚至为某个“主数据”单独建了一套管理系统。

我过去就是按照标书里的要求,建库建表,开发ETL,把数据收上来,然后整个规则引擎,按照配置结果,自动计算数据质量,定期出数据质量报告。
在这里插入图片描述
沃德天!从来没有过如此丝滑的场景,简直太爽了。其实为什么有那么多的数据质量问题?很简单,没有标准。没有标准就没有对错,自然就会乱到一塌糊涂!

标准有了,就能确定什么是对的,什么是错的。后面的执行、监测和控制就有了依据,数据质量才有保障。

05 监管驱动法

这个好理解,就是强监管。

强监管通常是上级单位发政策,下级单位执行。而且做不好,还会有惩罚。

老彭以前分享过《数据治不好,有啥后果?罚到你破产!!!!》,实在是太恐怖了!一单罚上千万!

银行、保险等强监管的行业就是跟着政策走的。不好好做数据治理,不按照EAST、1104的要求报送数据,罚单马上就来。不要想着随便糊弄,有本事就造全套的假数据,假的跟真的一样的那种,表间勾稽关系无误,各个维度都找不到破绽的那种。

当然了,在企业内部其实也可以执行这种强监管的模式,但这需要“特权”。这个前提通常很难达到。有种取巧的方法,就是贯标。比如现在国家在推的DCMM贯标。嗯,彭友们要过DCMM记得找老彭哈~~~

贯标有一个特别的好处,就是把“贯标评级”列到组织年度目标中,这样就能在企业内部形成一个巨大的“势能”,形成强监管的态势。当我们把“DCMM贯标”这根大棒挥舞起来, 自然比某个部门或者某几个部门推动数据治理强太多了。

我们给某企业做DCMM贯标的时候,发现技术部门早就制定并颁发了数据安全的制度、流程。但是跟大多数企业一样,发完之后就成一纸空文了。业务觉得安全管控太费事了,压根就不执行。

现在不一样了,技术部门借着“贯标”的理由,要求业务贯彻执行之前发布的制度和流程。业务虽然不情不愿,但是贯标是企业级目标,大家不得不做,也就半推半就的推行起来了。
在这里插入图片描述
其实说到底,监管驱动法,就是在借势,借上级政策要求的势,借国家标准的势。用大势推动原本推不动的部门,疏通原本阻力大的流程。

06 质量控制法

质量控制法其实是没有办法,也算是数据管理早期的雏形。因为说起来,数据管理理论体系往前追溯,其实是来自于质量管理体系。

ISO9000(质量管理标准体系)、TQM(全面质量管理体系)、CMMI(能力成熟度集成模型,不只是软件哦!),都属于通用管理体系。ISO9000后发展出ISO8000(数据质量管理标准体系),TQM延展出TDQM(全面数据质量管理体系)。而CMMI协会也在2014年推出了DMM(企业数据管理能力成熟度模型)。这是数据领域质量管理体系。

中国则参考CMMI等一众数据管理体系,在2018年正式发布数据管理成熟度评估模型(DCMM)国家标准,这是后话了。

与其他行业情况一样,质量是绕不过去的关。不管是做业务的,还是搞技术的,相信各位彭友没少为数据质量的问题挠头。质量有问题,数据就没法用,甚至会影响错误决策。于是,迫于各种数据质量问题,企业内外部才认真对待,逐步解决数据质量问题。
在这里插入图片描述
数据质量管控很明显,是问题导向。但是也不能头疼医头脚疼医脚,还得有个方法论。一般来说得有一个具体的需求,包括数据质量管控目标、评估标准、判定规则等等。

然后再以阶段性的目标和需求出发,从事前防范、事中监控、事后核查三方面进行质量管控,对各类数据问题予以解决。

在解决的时候,一般会立一个数据质量改进的专项,从技术、流程、制度、机制等层面进行改进,定期开展评估,对数据质量问题及解决办法建立知识库,便于之后遇到类似问题能快速定位和解决。

在这个过程中,以数据质量问题为牵引,综合使用元数据、主数据、数据标准、制度规范等各类手段,“建”以致用,自然就不会出现用不起来的情况了。

07 利益驱动法

利益驱动法其实也很有意思。这是我偷偷观察并总结的招,而且这招貌似特别好用。

其实说白了,也没啥,就是一招:以利益共享为根本,以“成就”为导向,建立一个符合部分核心人员利益的目标,然后推一下就行了。

具体的操作手法有很多,比如成功案例法、合作致胜法、评奖法、出书法、会议法等,还有互联网企业保命大法“开源法”。

不能再细说了,再说就会被灭口了。

总而言之,这个事呢,现在就是这个情况,具体的呢,大家也都看得到。可能,你听的不是很明白,但是意思就是那么个意思,只想说懂得都懂,不懂的我也不多解释,毕竟自己知道就好,细细品吧。详细情况你们自己是很难找的,网上大部分已经删除干净了,所以我只能说懂得都懂。关键懂的人都是自己悟的,你也不知道谁是懂的人也没法请教,大家都藏着掖着生怕别人知道自己懂…我不说了,别打我脸
在这里插入图片描述

08 项目建设法

这个很容易理解,就是弄个数据治理项目,慢慢建设。

其实数据治理这件事情开展到现在,也已经形成了一整套非常完善的流程了,相关产品能力也已经非常全面了。

我之前参与的项目,基本上覆盖了数据全流程,什么数据咨询、数据采集、共享交换、数仓、数据标准、元数据、主数据、数据质量、数据可视化、数据分析等等。

目前效果比较好的,是咨询和实施结合起来做。做个咨询,对数据现状进行盘点,全面掌握企业未来的战略和目前的现状,然后根据数据管理体系,做出差距分析,拟定具体执行的工作任务,根据时间进度安排,拆解并规划项目。
在这里插入图片描述然后在实施项目中,先穿透一个场景,再慢慢从纵深和横向两个层面不断扩大战果,建元数据、主数据、指标体系、数据质量管理体系等等,不断夯实数据基建,为前端数据应用提供高质量数据供给。

  • 1
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值