【华为数据之道学习笔记】10-2 大规模数据交互的企业数据生态

        相对于数字原生企业来说，非数字原生企业更需要通过数字化转型来实现变革，共同构建以数据为中心的商业生态系统。平台化的数据生态系统为商业模式创新带来了更多机遇，在生态系统中，众多企业围绕共同的客户价值主张，通过竞争与合作方式发展各项能力。相比之前，生态伙伴的作用及彼此之间的数据流正在发生根本性的变化。生态系统是数据经济中的一种多边组织形式，它与其中的个体及整个共同体均是互利双赢的关系。

数据生态离不开底层技术的支撑

        在万物互联的智能世界，数据工作所依赖的绝不是一个封闭的系统，而是一个开放的生态。尤其是在大数据时代到来之后，多类型、多形态的数据可能会给我们带来超出预期的收益。对数据生态的梳理和发掘，也会降低依赖于单一数据供应来源所导致的单点失效的风险。

        未来的业务不断变化和发展，企业对于数据的需求没有边界。如何建立跨越企业边界的数据共享平台，建立安全可信的数据生态，以尽可能低的成本交换数据、共享数据，将是一个长期而具有挑战性的课题。

        由于数据的可复制特性，我们在实施企业在企业间大规模数据交互的场景下，双方通过协议合同定义了严格的数据处理流程条款，包括对逾期数据的及时删除等，这就需要企业投入不少的IT及业务人力来保障条款的落实，以满足内外部合规的要求。

        因此，我们的数据生态建设目标是：从依赖管理手段到依赖自动化技术，增强数据管理的可信、透明；通过基于密码学和区块链技术的智能合约代码化，支撑商业生态系统的数据安全交换；构建统一标准的数据交换空间，实现与客户、合作伙伴协同的数据生态体验。

数据主权是数据安全交换的核心

        在数据生态系统中，大规模交互的数据是一种战略资源。数据主权是数据生态系统中数据安全交换的核心。数据主权是自然人或公司实体对其数据进行排他性自决的权利。

        数据主权的提出，旨在建立一种便于在数据生态圈内交换数据同时确保数据主权的架构方法，使企业能够在安全可信的数据生态系统中发挥数据的价值。基于数据主权保护的原理，数据所有者在将数据发送给数据消费者之前，需要将访问及使用控制信息附加到数据中，数据消费者只有完全同意该原则才可以使用该数据。

        数据主权与云主权、数据采集组件的主权共同构成了完整的生态主权。

那么，数据主权管理与我们所熟知的数据所有权管理有什么区别呢？数据所有权管理针对的是数据提供，确保数据同源可信，数出一孔；数据主权管理针对的是数据访问与使用，确保数据安全共享，防止数据滥用。

        企业内部的数据孤岛可以通过数据底座的建设融合在一起，而企业间的数据孤岛就没有这么容易改变了。近年来，以欧盟GDPR为代表的数据隐私监管力度加强，企业对数据共享的态度更为谨慎了。企业间数据生态的建设呼唤新技术的支持，传统的电子数据交换模式已经不能适应现代的业务和监管要求。

国际数据空间的目标与原则

        国际数据空间（International Data Spaces，IDS）是一个虚拟数据空间。它利用现有数据标准和数据技术以及公认的数据治理模型，推动数据在可信的商业生态系统中进行安全、标准化的交换并促进数据连接，从而为各种智能服务场景及跨公司业务流程提供基础设施，同时确保参与其中的数据所有者的数据主权得到保障。为了履行这项职能，IDS不存储信息，而是通过身份提供者及经认证的连接器组件，在经认定的通信伙伴之间建立安全交换。外部数据交换是企业的业务交流过程中的一个重要方面，来自外部合作伙伴的数据可用于提升运营服务。

        IDS协会作为一个非营利组织，推动了一系列研发活动以及标准化工作。来自世界各地不同行业、不同规模的众多公司均已加入该协会，成为不可或缺的一部分，确保整体的架构得到发展。

        数字化会促使各组织之间共享更多的数据。IDS很早就认识到，即使在其组织之外，数据所有者也需要掌控其数据资产。因此，IDS倡议将数据主权作为体系架构开发的一个核心层面。数据主权可定义为自然人或法人实体对其数据享有完全自决的权利，IDS倡议为该项特定权利及在商业生态系统中进行安全、可信的数据交换的需求等相关内容提出一个参考架构模型。

         IDS的目标是满足以下战略需求：

• 信任：信任是IDS的基础。通过全面的身份管理，重点确定参与者的身份，并根据对所有参与者进行的组织评估和认证结果提供有关参与者的信息，来确保他们彼此之间的信任。

• 安全与数据主权：IDS的各个组成部分依赖于现有的安全措施。除了架构规范之外，还通过对各个组成部分进行评估和认证来确保安全和数据主权。根据确保数据主权的核心要求，IDS中的数据所有者在将其数据传输给数据消费者之前，会给其数据附上使用限制信息。只有完全接受数据所有者的使用策略，数据消费者才能使用这些数据。

• 数据生态系统：IDS架构无须具备集中的数据存储能力，相反，IDS架构追求分散化数据存储，这实际上意味着，在传递给可信任的另一方之前，数据仍然由各自的数据所有者所有。该方式要求将数据源和数据作为资产进行全面描述，并能够为数据集成特定领域的词汇表。生态系统中的代理，可以实现全面实时数据搜索。

• 标准化的互用性：IDS连接器作为架构的核心组件，由不同的供应商提供并以不同的形式展现。然而，各连接器都能够与IDS生态系统中的其他连接器或组件进行交流互动。

• 增值应用：IDS允许将应用嵌入各个连接器，以便在纯数据交换的基础上提供服务。这包括数据处理服务、统一的数据格式和数据交换协议以及通过远程执行算法进行数据分析。

• 数据市场：IDS允许创建使用数据应用、基于数据的新型服务。IDS还通过提供结算、计费和创建特定领域的代理与数据市场，为这些服务打造全新的商业模式。此外，使用限制和法律问题也作为模板提供，并提供相关方法供参考。

        另外，作为研究项目的核心交付件，IDS参考架构模型构成了各种软件实施的基础，因此也是各种商业软件和服务的基础。一系列研发活动以及标准化工作遵循以下准则开展。

• 复用现有技术：组织间信息系统、数据互用性和信息安全是确立已久的研发课题，市场上有大量技术可供选择。IDS倡议相关工作遵循的理念不是“白费力气做重复工作”，而是尽可能使用现有技术（如来自开源领域的技术）和标准（如万维网联盟的语义标准）。

• 标准化贡献：由于本身是为了建立国际标准，IDS倡议支持标准化架构堆栈的想法。

        为了构建安全的数据生态，需要在生态准备阶段预置相应的功能模块，在事前处理申请授权，在事中做到数据流动与结算实时可视，在事后保证完成共享使命的数据能够得到及时的、合规的、安全的销毁。整个过程需要生态中的各个组件角色（数据提供方、云服务商、Broker、清算所、App商城、App提供商、数据消费方）的通力协作。

多方安全计算强化数据主权

        除了基于公钥基础设施（PKI）的数据共享以外，联邦学习也是构建良好的数据生态、突破企业数据墙有力的技术武器。联邦学习技术底层依赖于同态加密、秘密共享、散列、梯度交换等多种多方安全计算机制，在算法层面上可以灵活支持多方安全计算模式下的逻辑回归、Boosting（提升法）、联邦迁移学习等多种算法模型，可以实现在保护本地数据的前提下让多个数据拥有方联合建立共有的数据挖掘模型，从而实现以隐私保护和数据安全为前提的互利共赢。基于联邦学习技术构建的新型数据生态，有利于打破企业间数据壁垒，实现大范围、高密度的数据空前的融合协作，辅以密码学、区块链等相关技术，必将实现一幅前在联邦学习的机制框架下，不仅数据不需要传输出企业边界，算法模型本身也不需要传输，因为对有些企业，算法模型也是非常重要的信息资产，是核心竞争力，安全要求很高。

        参考描述网络价值的梅特卡夫定律，数据生态圈作为一个由数据拥有者实体组成的网络，其价值与加入成员数的平方成正比。加入的成员数目越多，那么整个数据生态网络和该网络内的每个成员所能贡献和收益的价值也就越大。随着生态网络规模在多个领域的扩张，生态里会涌现出各个不同垂直领域的数据生态圈，如电信运营商的数据生态圈等。当然也会有跨领域的数据生态合作，比如涉及公共事务的数据分析，往往需要跨越多个领域获取数据。数据生态的构建和参与能力，以及在其所处生态圈中的地位和影响力，将成为未来企业的核心竞争力。