万字好文！数据治理体系与能力提升

最新推荐文章于 2024-10-23 17:56:22 发布

浪尖聊大数据-浪尖

最新推荐文章于 2024-10-23 17:56:22 发布

阅读量1.8k

点赞数 1

文章标签：大数据编程语言机器学习人工智能数据分析

原文链接：https://mp.weixin.qq.com/s?__biz=MzUyMDA4OTY3MQ==&mid=2247503730&idx=1&sn=dcd64457fc47952fc52200bf60a60e65&chksm=f9ed365ace9abf4cf58b738073b27a5713e9029368d33d954764e3dcdef0b91ad0108a9c7f7f&scene=126&&sessionid=0

版权

这篇是蔡春久先生直播的文字摘录，这场直播获得了满堂喝彩，讲的非常好，整篇文章大概10000字。

来源：蔡春久-《帆软·决胜数字化转型》直播

文章整理：grace

蔡春久：中国数据工匠俱乐部发起人、DAMA中国理事、中国大数据技术标准推进委员会数据资产专家、中电标协数据管理应用推进分会副会长、

我今天演讲的主题是数字化转型之大数据治理体系能力的提升。给大家分享的主要是三个部分：

第一部分是企业数据治理发展背景及理解，这里面主要讲数据治理面临的挑战和难点和数据治理发展的趋势。

第二大部分介绍数据能力已经成为企业必备的核心能力，这里面介绍一下数据治理概要、介绍，企业数据平台转型的基石，数据治理实施路径。

第三部分介绍数据治理项目相关的一些建议。

首先看一看国家层面在数据治理领域一些比较重要的事件。如下图所示：

去年四月份在党中央的报告里面，第一次谈到数据治理是重要的生产要素。数据等同于我们的土地、劳动力一样，是重要的生产要素。生产要素就意味着能够流通、能够变现、能够参与整个资料或者表的建设。去年的二月份工信部发布的工业企业数据分析分类的指南，这也是非常重要的，运输要流通，要交易，那我们有些数据一定要分析。分类有的是商密，有的是绝密，有的是可以共享的数据。

最重要的是去年八月份国资委发布了《关于加快推进国有企业数字化转型工作的通知》，在这个通知里面非常重要的一点是要构建企业的整个数据治理体系，包含整个组织的管控还有一些数据平台。国资委发的这个通知里面是广义的数据治理，包含了大数据平台、数据治理、数据管控等等。

今年的6月10号，人大通过了《中华人民共和国数据安全法》，在9月1号正式实施。为了规范数据处理活动，保障数据安全，促进数据开发利用，保护个人组织的筹划权益，维护国家主权安全和发展利益。这是中国第一部以数据命名的安全法。

在8月20号，《个人信息保护法》也通过评议，在11月1号正式实施。在10月8号，工信部、人社部、电子方案院共同推出了《行业标准大数据从业人员能力要求标准》。让从事数据相关的人，当大数据工程师，里面有十个岗位，包括数据标注师、数据架构师、数据管理师、数据工程师、数据咨询师等等，也是数据从业人员的福音。

9月6号可持续发展大数据国际研究中心的成立，会以大数据服务联合国2-3年，是可持续发展历程的国际科研机构，在中国科学院成立。在十月份国家层面也会成立中国数据研究会，也是国内第一个在国家层面成立的数据协会。可见最近这一两年国家层面在一些重要的报告、通知、国标、机构方面，紧锣密鼓的成立跟数据治理相关的法律法规等相关的一些事情。可见国家层面，在各个行业层面，非常重视数据治理的工作，未来十年数据治理应该是非常热的一个行业。

数据治理管理面临的问题和挑战

实际上在企业里面，业务人员在整个数据治理的过程中面临的很多问题。

第一个问题，信用化做到今天，通过过去十多年的信用化建设，我们信息的可能少则十多个，多则上百个信息系统，整个企业在一个集团范围内，内部信息系统孤岛普遍存在，各个单位信息资源混乱不清，信息不能共享，也就是不知道到底有多少的数据资产。

第二个，跨业务板块化组织的数据难以直接共享。缺乏完善的交换机制和体系，没有交换的方式，数据拿不到。像财务数据，销售部门想看看财务数据，看起来就是个地雷，很难拿到。

第三个，数据质量无法管控。数据安全无法保障，信息不全面、不及时、不准确，管理不好数据资产。

第四个数据资产认识不足，缺乏数据应用的经验。数据应用仅限于一些报表报告，很难做一些预测预警的分析，这是建设成效不理想，没有达到预期的目的，数据资产用不好。那业务人员面对数据资产不知道、拿不到、玩不好、用不好，这是针对企业业务人员面临的一个困境。

再看看针对企业的管理人员的困境。

企业往往做了很多标准，但是并没有真正的落实到管理企业当中去。平时束之高阁，只有在每年的总结汇报或者外部审核的时候才抛头露面，也就是业务标准“两层皮”。

第二个“夹生饭”。由于做数据标准化，跟企业管理实际脱节，制定的标准可操作性比较弱，管理层总是知道整个信息化标准做的很漂亮，但实际过程中其实用不到，会出现这种情况。

第三个“靠边站”。整个数据治理、数据变化，说起来重要，做起来次要，忙起来就不要。整个数据标准化管理工作在公司任务紧的这个压力下面为项目往往让路，阻碍了整个企业数据标准化的进展。

针对企业技术人员来讲，在一个集团公司，也有六个痛点。

第一个数据孤岛，无法打通。
第二个烟囱式的建设重复造轮子。
第三个业务和信息部门各说各话，缺乏统一的口径。
第四个沟通问题，鸡同鸭讲，无法穿透业务层。
第五个数据人员的痛，就是看不到尽头，每年是同样的问题，第一年，第二年，十年前的问题，现在依然还在重复的存在。
第六个最重要的问题，it部门非常尴尬，是成本中心，是弱势的部门，就是现在数据最大的痛点就是数据看不全、看不准、看不到、看不懂、看不到头，这是从事技术人员面临的一些困境。

企业目前的主要需求有哪些人？

其实在大数据的今天，人工智能，包括数字孪生、元宇宙，这些说的很漂亮。在企业里面，尤其是数据分析应用的数据还是非常强烈的，最近针对100家企业做了一个调研，通过调研问卷显示：

第一、数据的时效性要求比较高，要求数据报表能够实时的反映业务的现状；

第二、跨服部门、跨组织的数据共享的需求是非常强烈的。

第三、对已购外部数据共享的需求也比较迫切。

那看看大数据的预测分析角度，尤其在一些工业企业设备故障、智能诊断和预测分析设备的运行诊断分析，客户的精准营销，尤其对视频、图片的处理项目有12项技术，而对文本的数据处理要求非常强烈。尤其像合同管理、设备故障分析等这方面要求高。

可能企业里面对数据平台也有个需求，希望总部搭建一个平台，企业在上面唱戏，能够在上面看到各式各样的一些数据。数据应用从过去的十年前的bi到现在有五个转变：从统计分析向预测分析转变；从单一领域的分析向跨领域分析转变；从被动的分析向主动分析转变;从非实时的分析向实时分析转变；从结构分析向多元化分析转变。工具要求数据是全面的、可共享的，有些行业特定的方法、统一的数据服务共享的平台，数据效率要求也比较高。

数据治理的发展趋势

整个数据治理发展确实是这样，在企业里面有产供销、人财物，其实数据按照整个数据领域的知识体系来讲，数据也是一项职能，也是一项企业运作的基本准则。基本数据是实战要素，和采购和人力资源、财务一样，成为企业运作的基本准则。企业数据的商业化，数字化转型的关键是否可以像数据科学家一样思考。

数字化转型战略最重要的是构建数据能力、数据的组织、数据的运营能力、数据团队。数据跟人力、采购、生产一样，这里面有数据治理、数据的安全、数据分析、数据的应用、数据的运营。数据能力已经成为企业不可缺少的核心能力之一。

这些都受到转型非常重要的支撑，构建企业级的数据平台，企业级数据平台是数据加工工厂和数据加工工艺，只有好的数据治理工具才能更好的支撑数据平台的建设。整个数据平台能够支撑企业的业务占领的目标，做企业级的数据平台的话，要实现五个打通。

第一个横向打通，破除部门壁垒，打通横向化专业间的升级，挖掘，融通。
第二个纵向打通。从集团总部到专业板块到下面的三级职员单位形成统一的资源目录，上、下级的数据共享交换。
第三个内外打通。消除内部数据和外部数据的分工，实现内部数据和外部数据的观点分析。外部数据可以第一时间了解数据的准确性，一致性。
第四个管理打通。建立企业的标准，实现统一的管理统计口径，大家用同样的指标。
第五个服务打通。通过数据平台统一对外提供数据服务和应用构建与业务系统数据应用充分的协同，最后构建数据大变革。

四个能力：

第一个数据接入的整合能力，开展数据接入整合能力，提升工作，实现多类型的数据高效汇聚，支持公司的融通、共享、分析、运营。
第二个是技术组建的支撑能力，开展数据平台的支撑能力优化，完善数据平台的技术架构。
第三个最重要的，数据的共享能够分析。开展共享分析的能力，跨专业的数据共享分析，支持跨部门化的数据共享分析，应用到各部门，积累、沉淀、共享的数据分析，最后就是数据资产管理能力。
第四个开展数据资产的管理能力，逐步完善公司数据标准规范，增强企业的数字感的应用性，对外能力提升。

这是构建企业级的数据管理平台的目标，构建云、数、智一体化的整个数据平台。这是一个蓝图，需要3-5年才能建成。整个软的课题就是数据架构，包含数据项、目录、分布、模型标准，还有数据治理体系，数据治理架构、管理制度、管理流程。

需要有两个体系，两个平台，一个服务。我把它归纳成一堆的工具体，为了更好的确保数据质量和安全，这里面包含了主数据、数据安全、数据质量加数据工具、指标的工具等等。

中间的这部分是整个数据平台。把多元的数据能够统一的接入、清洗、转化、加工，通过物理的和逻辑的整合变成数据。一切业务数据化，数据再资产化，通过数据资产地图、数据的标签、数据资源的目录，上访，分期，分类，保障数据安全。

上面是一些检索服务，包括一些计算引擎的服务，分析引擎的服务，把资产服务化。下面是企业里面应用从研发到销售，到生产到物资，到整个风控、智能制造等等，每个角色每个人用唯一的账号唯一的密码通过这个数据平台能看到跟自身所有相关的一些数据。

未来各级管理人员通过一个账号一个密码，能看到全域的数据，这是做整个数据平台的架构，两个体系，两个平台，一个服务。

数据治理未来的发展方向

整个数据治理过程中，肯定是数据战略作为指引，数据战略能够很好的支撑整个业务战略，业务战略是指导数据的战略，业务是核心，数据业务背后就是数据在支撑。数据是基础，把整个经营层面的数据，生产层面的、控制层面的、物联网的数据能够整合起来。

数据是基础，智能出价值，因为要做分析，要利用一些人工智能，通过一些大数据，通过一些算法，通过一些二维技术能够更智能化的做一些分析，这就是智能出价值。

场景是抓手，因为按照场景做大数据应用场景，通过一个场景项目有做金融营销，做物资大数据的价格分析。场景是抓手，通过一个场景就是一个项目，解决整个企业的痛点、难点的问题。

连接是前提，把不同层面的数据通过算法连接起来。

运营为保障，数据治理，除了治理外，这是个动词，过程运营为保障，需要有一套整套制度运营起来。数据运营，为数据质量保驾护航，才能真正的体现数据资产的价值。同时也需要根据管理的需要逐步建设完整起来，这是未来的数据治理的动向。

那么企业里的数据治理应该包含哪些内容？

站在管理的视角来看数据治理就是五域模型。

首先是管控域。管控域涉及数据治理的组织、制度、流程、绩效。

第二块是过程域。从分析到设计到实施到评估，数据治理是个过程，是PDC。有整个规划、规划过设计、评估整个数据里的成效，这是一个闭环，数字治理里面涉及的有11个域，待会来介绍，这里面包含着数据战略到主数据、原数据、指标数据、实施数据等等，这里面包括数据质量、数据安全。

数据治理还有技术域，从总数据架构到整个治理的工具。

另外还有价值域。数据资产要体现它的价值，那就一定要共享，共享过后才能实现流通、实现变现。所以数据资产要变现的话，一定要能够价值变现。所以说，在数据治理中比较重要的就是管控域，在数据治理的战略指导下制定企业级治理的组织，明确组织的责、权、力、岗位编制、技能要求。这就是五域模型。

站在技术的视角来看，数据治理是个体系化的工程，这上面就属于战略，要规划数据战略和实施战略，然后评估数据战略实施的情况如何，最终还是要体现数据价值，能够实现共享，最后数据能够变现。

这里面有两个柱子，一个数字治理体系，组织架构、制度规范、管理机制、绩效体系和再生化体系。另一个是工具平台，这里面有数据的工具、指标的工具、质量的工具、数据安全的工具、互联互通的工具。这里面有八九类数据治理的工具体，那中间的是九个柱子，设计的从数据架构，从逻辑架构到整个的物理架构，架构特别重要。

主数据是黄金数据，在整个企业里面，是非常重要的一个数据。

原数据是数据仓库里面非常重要的数据指标。刚才讲的指标是企业化管理的一个抓手。

实施数据是物联网层面的数据，设备层面的一些数据。

企业的数据系统很多通过数据交换的服务来构建数据。数字开放共享能够实现它的价值。后面是数据治理的整个能力，才能做评估。这是技术的设想，是体现了工程。包含战略、体系、工具、数据治理的职能域。

上图是车轮图，中间是数据管控。管控，就刚才讲过数据里的组织、制度、流程、管控机制、绩效体系、标准化体系在这里面。那车轮图里面，在工业企业数据治理的车轮组定义的这个数字理的知识域，管控体系应该说跟周边的十个域都有关系。这里是实现功能内部一致性和功能性之间变更所需要的。

周边的数据战略，包括架构、主数据、原数据、指标、持续数据、质量管理、安全管理、交换服务、数据开放共享。

中间的车轮筒叫数据管控，对数据管理的管理，这里面主要是设计组织制度、流程、绩效标准等等。

第一个数据管控，建章立制，对数据管理的管理。
第二个数据战略是数据治理的诗和远方，就是有数据的规划，数字设计的一个项目规划。数据治理要有哪些项目去做，解决怎么做的问题，谁去做的问题？
第三个数据架构，是数据战略蓝图，是高楼大厦的施工图纸，是水泥钢筋的框架结构和地基，跟整个企业的系统架构师非常相关，这里面有业务的，包括领导的，有不同层级的。
第四个主数据是数据中的黄金数据，数据治理的核心，跟所在的业务实体对象相关，像客户、供应商、会计科目、物料、产品、设备，是业务部门实体对象。与业务部门、业务人员紧密相关。
第五个元数据管理是关于数据质量，数据管理的基石，跟整个数据仓库底层技术有关。做数据中台，数据平台是非常重要一块，技术人员也非常关心元数据。
第六个数据指标管理，是企业经营化管理的抓手，跟企业的各级管理者有关。那是管理人员都有指标，考核指标，收入完成多少，利润完成多少，通过指标实现我们企业经济化管理。
第七个时序数据是设备层面的数据。例如温度、压力等等，是生产层面非常重要的一类数据，做一些管控我们整个本质安全，包括整个的节能减排都跟实际数据紧密相关。
第八个是数据质量管理，有质量才有价值。做数据治理最重要的就是提高数据质量。
第九个，数据安全，有数据安全才有未来，安全是一种高级的竞争力。
第十个数据交换与服务，数据移动有效的管理确保数据资产保持增值
第十一个数据安全共享是破解数据价值的密码。

技术平台能力总体框架

下面我们看一看做数据治理的一些工具和平台，在整个十四五期间比较重要的是数据一体化的数据平台，数据中台、业务中台和技术中台三大中台都是构建统一的云平台，无论你是公有云还是私有云还是混合云，技术设施保证网络资源、全球资源、计算资源是足够大的，那在整个帕斯平台上面构建云源时代的恢复框架，分布式的数据库服务的治理。

数据平台是集中的数据建模、加工、数据应用和数据资产管理等等，是构建的整个云品牌，那上面会实现能力的聚合、服务的组合、服务的编排，上面是移动应用、app、公众号、小程序，这上面打造一体化的平台，新的技术架构下面整个数据平台构建整个新的技术架构。

下面从整个数据的逻辑架构来看，是面向数据全身的周期，提供一站式的数据总规划到开发到治理到服务和应用，整个是五个维度，七个层级。

从采数据，聚数据，用数据和保数据。把数据分成七个层级，总数据加化，采集交化，数据的共享交换，批量采集，实采集，网络爬虫采集。后面统一的处理，这里面包括批量的接入、加载、探索、清洗、标准化关联，当然还有实时处理。上面的是存储计算，有大数据平台能搜到的，搜索引擎的关系数据还有实时数据，让数据生产、存储计算，这里面分的有八个区，在数据湖里面。上面的是数据分析，这里面分析有一些工具，做些图像的识别，语音的识别，多维的分析，自助分析。那上面的是服务。有服务总线，有微服务，有标签管指标，上面还有一些的分析，销售分析，采购分析。

最上面的是数据应用，所以把数据分为五个维度、七个层级，构建一体化的内向全生命周期的数据平台。

那接下来看一看这里面的数据采集，交换，数据计算与存储，数据分析与建模，数据应用，数据治理的体系。

这里面主要是有八类工具体，这里面从主数据到元数据，安全质量，这里面有一些标准、规范认为的管理体系，包括一些烟花体系，评价体系都在这里面。

从整个数据平台来看，从数据的接入，这里面有数据交换平台，有批量交换平台、kafka、网络爬虫、有很多数据交换，不同的场景，不同的工具，让大数据平台这里面设计的开源。

刚才的数据交换平台，里面有数据共享交换平台、分步式的一天工具、实时的数据同步。在这个大数据平台里面也是开源，这里面涉及到大数据平台的基础平台、批量的作业调度平台。

第三个数据分析和可视化的工具，这里面投资引擎资源与处理识别引擎套件。

像帆软，在国内数据可视化领域处于领先地位。另外，帆软有数据服务总线和数据服务各种产品，通过数据微服务、数据服务总线对外提供数据分析等一些工具。

还有数据资产平台，就刚才讲的数字治理平台，有的叫数资产平台，有的叫数字的平台。那这里面还有数据开发的一些工具，这里还有一些应用系统、标签管理系统、指标管理系统。那这是站在工具体比较成熟产品的角度，从全生命周期看到整个数据的一个加工工厂，总是数据介入地产存储，数据可视化对应的有不同的产品不同的工具，完成整个数据的加工工厂，当然我们在整个数字化技术中大屏的可视化就是非常关键的一个产品。

目前帆软在大数据可视化方面还是做的不错的，有一体系产品，有开放的平台，这里面能够很好的形象的跟领导做数据化的展现。展现从全球到国家到省份到城市到区域到园区的建筑物到空间，可视化非常形象，可视化技术做的也是非常好的。为大家提供这方面的比较形象的分析服务，让领导能够一目了然的看到生产经营一张图，管控一张图，城市一张图。

这个是在社会城市，在一些大屏里面做的比较多的人。那我们看看这里面数据可以做一些相关性分析。

看上面的一个指标，指标点进去可以看到历史的数据。在历史数据的基础上，如果关心一些关键指标，像电量、发电量以及发电功率进行相关分析，挖掘出影响值得潜在的因素，这样指导应为人家有效的措施，提高各项指标，提高整个企业的经济效益。

用一些相关性分析，那通过这个数据男生提高企业的运行的效率，那可能用一个是物理世界，一个是数字化世界，那数据孪生技术在企业的这个工厂里面就是广泛在这种场景与数据孪生技术构建生态体系贯穿智能系统、服务，显著的提高智能智慧能源生态系统工作效率，降低能源的成本，实现能源的整体规划，这是数据孪生在工具级里面用的比较多。

国内数据治理常见的8种实践模式

从刚才讲的管理体系来看，是非常庞大的，工具体也很多，那怎么来策划这样的项目呢？领导就是说大数据很好，咱们怎样来策划这样的数据呢，在国内有8个路径。

第一个是有整体规划，一个大机构让我们做总体规划，规划3-5年的。数据治理的项目按部就班的走，当然很多政府和大型机构是采用整体规划的方式，在数据治理的整体实现上，规划先行，组织体系先行，这是一种方法。缺点就是建设周期长、见效慢，但是治理成果相对稳定全面。
第二个财务领域数据分析要求比较高，可以有个切入点，另一个财务领域短时间的一个项目也特定需求输入进行项目建设，这个也是一种方式，跟着一些共享的企业短期见效。
第三种方式数据平台就不管3+2批数据先入。做过后，然后在这技术上也分析展现，这是第三种方式。
第四个方式就是大型生产系统开发，在企业里面，上MES，上ERP，同步的要做一些技术性工作，要做数据标准化项目。成果很快在大型的生产性开发过程中能够用到，这也是一种技巧。
第五个是企业数据模型建设，通过建模的同时建标准，这是一种定制开发项目里面可以用到的。
第六个主数据项目建设模式。通过主数据解决编码不一致的问题，这是在右系统项目供应商，发现统计数据不准的时候，这是一种策略。
第七种策略是数据管控模式，从it管理的需要出发，也建系统体现建设成果，这是数据的好模式。
第八个就是数据滋养目录的模式，通过数据资源目录做数据交换共享，企业要根据实际情况，因为重点任务在八种组合当中进行选择。

归纳起来是三个结合，四个坚持，五个避免，六个导向。

三个结合:

第一个，大数据治理技术跟传统的业务流程要深度的融合起来，一定要体现业务价值。
第二个，长远目标和大体介绍相结合的原则。做数据治理需要3-5年，但不可能说做三年才有一点成果，必须3-5个月有一个成果。大处规划，小处着眼，重点实施，分布治理。
第三个，标准工具和运维保障相结合的原则，要确保提高数据质量和安全。

四个坚持: