第 3 课：隐语架构概览

隐语架构一览

隐语架构拆解

PSI/PIR

Data Analysis - SCQL

Secure Collaborative Query Language：一种多方安全数据分析系统，可以让互不信任的参与方在保护自己数据隐私的前提下，完成多方数据分析任务

Federated Learning

在原始数据不出域的前提下，通过交换中间数据完成机器学习建模

混合编译调度 - RayFed

在Ray基础之上所构建的专注于跨机构的分布式计算调度框架
https://github.com/ray-project/rayfed （已成为ray的孵化项目）
面向跨机构场景，提供单机构内计算任务独立调度和跨机构计算任务协作的能力

SPU - Secure Process Unit

HEU - Homomorphic Encryption Unit

TEEU - Trusted Execution Environment Unit

YACL - Yet Another Common Crypto Library

Kuscia - KUbernetes based Secure Collaborative InfrA

互联互通

隐语和其它厂商的平台可以互联互通，共同完成一个隐私计算任务

跨域管控

数据离开持有者的运维域后，数据方仍然能够有效地控制数据的流转过程，避免其被窃取或者非预期使用

隐语Cloud

当下，高质量数据供给和安全流通，成为大模型进入垂直产业应用的首要挑战。其一，行业大模型要获得解决专业问题的能力，首先要经过数量充足、质量高的专业数据训练。然而，专业数据往往分散在不同的机构或企业中，并且由于价值大、保密要求高而难以流通。此外，在企业、大模型厂商和用户之间存在信任壁垒，企业担心数据对外泄露，大模型厂商担心模型资产安全，用户担心个人数据和隐私风险。
首先是C端用户的隐私安全保护，即在用户调用大模型能力进行互动问答时，如何保障用户给到大模型的隐私数据不被泄露？其次是面向B端行业数据的安全保障，即企业在向大模型输入专业数据进行模型调优过程中如何避免数据泄露，以及在行业大模型优化完成后如何实现对模型本身及大模型互动问答数据保护？这些都是个人用户或企业所关注的重要问题，而密算技术则为以上挑战探索出了可行的解决路径。
“隐语Cloud”大模型密算平台首批推出两大服务，分别为大模型密态托管和大模型密态推理。大模型密态托管，指模型提供方可以将模型加密后托管在平台上，一键完成云上密态部署，保护模型资产不被泄漏和盗用；大模型密态推理，是指数据以密态形式完成推理，保护用户交互时的数据安全、商业机密等。此外，该平台支持 GPU 在可信执行环境下进行计算，使得大模型推理在密态形式下的响应时间和使用效率与明文大模型接近，实现大规模商业可用。
在安全保障上，该产品利用内存、磁盘加密等方法，实现用户访问的端到端加密和托管模型的跨域访问控制。在易用性上，产品支持轻量化远程认证，用户在网页访问时就可以完成远程认证，不需要额外的操作步骤。在性能要求上，大模型的推理是离不开 GPU 的，我们也是首次在国内把 GPU 使用到了密算过程中，通过密算 GPU 方式可以极高提升推理的性能。在高可用的角度上，平台通过可信集群方式解决故障转移，使得平台达到生产级可用的状态。
当下，大模型在垂直行业应用时，许多企业通过私有化部署来应对数据安全挑战，这不仅增加企业的运维和服务成本，也影响对外服务的效率和质量。对行业发展而言，在一些场景之下私有化方案并不利于多方数据跨领域、跨行业高效融合，无法进一步激发大模型的产业业务应用能力。
“隐语Cloud” 大模型密算平台提供公有云和专有云交付方案，支持市面上主流的通用大模型。以公有云为例，模型提供者可以一键加密上传自己的大模型，10分钟即可完成高可用推理服务的发布。用户通过网页就可以对模型进行加密访问，无需感知到复杂的加密过程，即开即得。
“隐语Cloud”大模型密算平台的服务，将逐步覆盖行业大模型从构建、调优到对外服务的全链路数据安全保证。“接下来，我们将为垂直大模型从预训练、微调、评测、推理到用户交互的全流程提供密态计算服务，在大模型提供方、数据提供方、大模型使用方等之间实现数据可信安全流转。平台还将提供密态大模型开发所需的全链路工具，提供的服务包括密态检索增强生成、密态提示词、Agent流程编排等。”
数据供给决定了大模型应用能力的上限，而隐私计算技术决定了数据跨域供给的上限。当大模型从通用走向专业应用，从技术想象力走向产业的生产力，必须要解决高质量数据集稀缺与专业数据阻滞的挑战，否则大模型作为“智力引擎”，只会陷入空转。今后，高价值数据要深度融合，一定需要以密态方式进行安全流转。

可信执行环境TEE

可信执行环境（Trusted Execution Environment，简称 TEE）就是在计算设备中创建的一个安全的“小房间”，用来保护敏感数据和代码免受外界的干扰和攻击。其基本思想是：在硬件中为敏感数据单独分配一块隔离的内存，所有敏感数据的计算均在这块内存中进行，并且除了经过授权的接口外，硬件中的其他部分不能访问这块隔离的内存中的信息。以此来实现敏感数据的隐私计算。流行的 TEE 实现包括英特尔 SGX、AMD SEV、英特尔 TDX和 TrustZone等

1. 安全隔离：TEE就像计算机中的一个“安全小房间”，在这个房间里执行的代码和存储的数据是隔离的，其他程序不能随便进来偷看或修改。
2. 保护敏感数据：比如，当你在手机上进行支付时，支付的相关数据会在TEE中处理，这样即使手机上有恶意软件，也无法获取你的支付信息。
3. 防篡改：TEE内的数据和代码是防篡改的。这意味着，恶意软件即使能访问设备的其他部分，也无法修改在TEE内执行的代码或存储的数据。
4. 增强隐私保护：TEE可以保护用户的隐私数据，如指纹、密码等。这些数据在TEE内处理，确保隐私不被泄露。
5. 硬件支持：TEE通常由硬件支持，比如在ARM处理器中，有一种叫做TrustZone的技术，可以创建这样的可信执行环境

总结