拒绝数据系统熵增，未来企业如何开展数据治理

数字化转型不断推进，“价值型组织”逐渐成为企业未来发展的重要里程碑。近日，以“面向未来的组织演变与创新管理”为主旨的第十一届壹佰案例峰会（TOP100Summit）如约而至，网易数帆大数据产品负责人杨兵受邀参加本次峰会，并结合实践深入分享了如何建设未来企业不可或缺的“大数据健康评估与数据治理体系”，让治理有依据，效果可衡量，机制可持续。

杨兵引用熵增原理说明，孤立的数据体系也会随着时间的推移而逐步腐坏，指标口径不一致、数据不准确等就是系统熵增架构腐坏的表现，数据治理则是我们人为施加于体系之上用于对抗熵增的“外力”。他指出了这一对抗的关键：系统化地梳理数据治理的范围，建立一套大家公认的度量体系去衡量治理的价值，并解决运动式治理模式的问题。

正确评估大数据健康

“数据治理的范围不仅是规范、效率，需要扩大到质量、安全、成本等。”杨兵纠正了数据治理流程容易形成的误区。这其实与企业数据体系建设的内在逻辑息息相关。

借鉴互联网三级火箭理论，杨兵给出了一套数据体系建设的三级火箭模式：第一级通过业务的数据化还原，积蓄数据价值的势能；第二级构建指标体系实现数据的业务化应用；第三级通过场景化的数据产品实现数据的价值变现。在这个理论模型中，指标是需求的源头，是数据建设的原动力，也是很多企业开展数据治理的直接原因，“管好指标的设计就能把控好数据体系的质量。”杨兵说。

需要承认的是，数字化转型以提质增效为重要目标，互联网企业出于效率优先的考量，在实战中往往为了快速上线牺牲设计，关键环节没有卡点校验环节；同时指标管理和模型管理停留在指标口径的管理、模型的复用度上，与开发体系的联动并不足够，事前治理的范围缺少“安全，质量，成本”，产品上与数据安全、数据传输、数据质量、自助分析等产品的联动性不足。

为量化数据治理的价值，网易数帆沉淀了一套基于ROI的数据资产精细化管理方法，从成本（计算&存储）、规范、价值、质量和安全等方面，全方位扫描数据，构建资产健康分，实现资产360度的健康扫描和精准评分。杨兵举例说，网易数帆在计算成本上会考虑调度任务和临时查询超长或异常问题，在存储上有未设置生命周期、空表、表未分区等，在规范方面则包括ODS的跨层引用率、CDM的复用率、穿透率等，在价值方面考虑长周期无访问报表、模型及API等。

网易数帆认为，这些治理的方案必须沉淀在产品中，进而优化数仓的建设方案，配备有健康分体系用于监控优化效果，才能做到“治理有依据，权责可归属，机制可持续、效果可评估，方法可沉淀”的事后360度的数据治理，效果不会受制于人员变动之类的问题。

数据治理成功三要素

围绕上述评分体系，网易数帆已形成提供精准、全面、高效的数据治理方法和手段，为数据健康保驾护航。杨兵介绍，在网易，这套方法经过了先设计后开发、研发治理一体化、数据治理360、湖内湖外数据治理和数据治理闭环等五个演进过程。

这是因为大数据的技术不断演进，数仓、数据集市的架构都不尽相同，而网易内部很多BU发展阶段不一致。

例如网易云音乐的离线数仓在Hadoop上，实时场景使用了ClickHouse，部分分析集市又使用Oracle和GreenPlum，而网易有道是Hadoop和Doris并存，于是有了数据治理突破Hadoop湖内的需求。网易数帆在湖内湖外数据统一治理的探索中发现统一元数据是解决数据连接、资产管理、数据治理的问题的关键，实现了统一的元数据+分散的物理存储，即逻辑数据湖的统一治理方案。

对于网易，这是一个摸石头过河的过程，在见招拆招中逐步完成体系化、规范化，但正在规划数据治理体系的企业，却可以利用这些经验，根据自身需求和特色从一开始就建立现代化的数据治理体系，以正确的方法确保治理目标达成，以完善的产品保护治理规范落地。

当然，仅有这两个重要因素还不够，对于成功的数据治理体系而言，良好的运营也是必要的。

“好的方案，机制，规范、流程、产品还是离不开运营的，运营的过程也是在帮助我们打磨方案。好的方案也需要配上好的运营，才能取得成功。”杨兵强调说。

网易长效治理的成效

结合业务实践，根据建立起来的度量体系，杨兵分享了网易实施长效治理的一系列成效。

首先，通过计算和存储治理功能，网易公共集群累计下线物理存储116PB+，预估节省年费用3325万元。

其次，通过质量分和质量工具辅助网易云音乐数仓进行质量治理，使全年可用天数提升到98%以上，核心SLA基线全部在5:30完成，月平均告警天数下降60%；网易严选数据质量的覆盖率提升到100%，基线破线率从20%到零破线。

再次，在数仓规范方面网易严选实现跨层依赖率从21.2%降低到17.5%，跨层反依赖率从18.1%降低到11.5%；网易云音乐数仓的覆盖率，复用率，资产引用率有显著提升，穿透率和闲置率有显著下降。

最后，在数据安全方面围绕数据的全生命周期的各个阶段进行相应的保护。通过智能敏感数据识别，自动分类分级，动态脱敏，静态脱敏，数据加密，操作审计，数据溯源和数据水印等能力全面保护数据资产安全。

小结

网易数帆的实践表明，数据治理之所以会产生源源不断的问题，是由于数据治理是一个旁路的系统，既不深入到上游数据开发的环节，也和下游数据消费的环节脱节。从数据价值本质出发，以数据资产建设为核心，拓展数据治理的范围，完善度量体系，将其与数据开发和消费很好地衔接，实现数据治理闭环，即可告别数据系统熵增的往事。

免费试用网易大数据产品