[隐私计算学习笔记]3——隐语架构概览

目录

1. 隐语架构总览

2. 隐语架构拆解

附：KUSCIA 基于K8s的隐私计算任务编排框架

3. 小结

---

1. 隐语架构总览

        包涵硬件层、资源层、计算层、算法层、产品层。主要实现的功能是互联互通以及跨域管控。

分层作用：

• 完备性：目前隐私计算没有绝对优势的技术路线，故隐语支持多种技术；
• 层内部高内聚，层间低耦合，保证下层对上层透明。有助于用户从任意层入手集成功能；
• 开放性：通过良好分层设计，不同专业人员在特定层发挥独特优势。

2. 隐语架构拆解

所属层	名称	定位	用户画像	特点
产品层	-	通过可视化降低用户演示和体验成本 通过模块化API降低技术集成商的研发成本	隐私保护计算集成商、需求方、研发、产品……	-
	SecretPad	-	-	轻量化安装、快速验证POC、可定制集成
	多部署形态	-	-	包含中心模式、P2P模式
	全栈产品	-	-	MPC、TEE、SCQL
	SecretNote	-	-	Notebook形式、交互式建模、多节点一站式管理和交互、运行状态跟踪
算法层	-	高性能、轻量化、易用的PSI/PIR专用协议模块	PSI/PIR产品人员、需求人员、研发人员	-
	PSI（一种特殊的安全多方计算协议，求交但不会泄漏交集外的其他信息）	-	-	支持各类协议，如半诚实模型、恶意模型 协议优化、性能优化 提供多层入口：白屏用户接入产品层、开发人员可通过SecretFlow接入或以库的形式集成
	PIR（用户查询服务端数据库中的数据，但服务端不知道用户查询的具体数据）	-	-	支持各类协议：Sealed PIR/Label PIR/Spiral PIR/Simple PIR 优化（同PSI） 提供多层入口（同PSI）
	Data Analysis-SCQL	屏蔽底层安全计算协议的复杂性，以简单熟悉的SQL语言界面提供多方数据密态分析能力	数据分析集成商、产品、需求、研发人员	基于半诚实安全模型 支持多方（N>=2） 易上手，提供MySQL兼容的SQL语言用户界面 支持常用的SQL语法和算子 提供列级别的数据使用授权控制（CCL） 支持多种密态协议（SEMI2K/CHEETAH/ABY3） 内置支持多种数据源接入（MySQL/Postgres/CSV）
	联邦学习	具备安全攻防保障的明密文混合机器学习框架和算法	深度学习需求方、产品人员、安全AI研究人员	安全攻防：安全风险度量体系、攻防框架、攻防算法 稀疏化、量化、流水线操作 提供营销算法（DeepFM/BST/MMoE）、SOTA安全聚合、大模型
计算层	混合编译调度——RayFed	面向跨机构场景，提供单机构内计算任务独立调度和跨机构计算任务协作的能力	隐语工程及算法开发人员	在Ray基础上构建的专注于跨机构的分布式计算调度框架
	SPU(Secure Process Unit)	桥接上层算法和底层安全协议，保持原生AI框架体验的同时为用户提供透明的、高性能的、基于安全协议的密态计算能力	机器学习、密码协议、编译器研发人员	原生对接主流AI前端 支持丰富的机器学习算法 带隐私保护语义的中间表示语言 基于MLIR的加密计算编译优化 高性能MPC协议虚拟机，丰富的MPC协议，适配各种场景 多种数据并行、指令并行优化 支持协议扩展，支持异构设备接入
	HEU	低门槛、高性能的同态加密库，支持多类型、可扩展的算法协议和硬件加速生态	同态加密用户、同态算法及硬件研发人员	支持多种PHE算法 性能业界领先 支持多种接口（Numpy-like API/C++/Python） 硬件加速
	TEEU(Trusted Enextution Environment Unit)	支持多种可信执行环境的、具备数据使用跨域管控能力的密态计算枢纽，可执行数据分析、机器学习、MPC/FL加速等功能	数据合规研究人员、TEE软件开发人员、TEE硬件制造商	跨域管控：数据确权/使用授权/使用鉴权/结果授权 可信应用：预处理/经典机器学习、深度学习、大模型 多硬件：SGX/HyperEnclave/海光CSV/Intel TDX
	密码原语(YACL)	多种隐私计算技术路线共同需要的密码库	安全/密码研究人员	核心原语提供高性能保障、详细的benchmarking 安全性高、安全逻辑强 对密码协议开发者提供良好的接口抽象和丰富的注释文档
资源管理层	KUSCIA	屏蔽不同机构间基础设施的差异，为跨机构协作提供丰富且可靠的资源管理和任务调度能力	隐私保护计算集成商、运维开发人员	（见下附）
互联互通	-	隐语和其他厂商的平台可以互联互通，共同完成一个隐私计算任务	互联互通绣球房、算法研发人员、隐私保护计算集成商	黑盒模式（管理调度互联）：在管理面、控制面实现，两边加载相同的算法容器 白盒模式（基于开放算法协议的互联）：算法引擎层面直接互联
跨域管控	-	数据离开持有者的运维域后，数据方仍然能有效控制数据流转过程，避免非预期使用	隐私保护计算需求方、监管方、运维人员	三权分置：详见笔记[隐私计算学习笔记]2-2.1

附：KUSCIA 基于K8s的隐私计算任务编排框架

Master（控制平面）：

• K3s：K8s的轻量发行版
• KusicaControllers:Kusica自定义的资源控制器，实现跨域任务调度、服务发现、 数据授权
• InterConnControllers：互联互通控制器

Lite：

• ServiceMesh：算法容器之间通信的网络层基础设施
• DataMesh：面向数据管理的基础设施，解决数据发现、多源适配、数据授权等问题
• Agent：负责节点实例注册和容器管理

3. 小结

        本讲概述了隐语架构，突出隐语架构清晰、集成灵活、简单易用的特点。通过分层介绍，了解各层作用，为后续基于隐语框架的隐私计算学习中遇到的问题提供针对性解决思路。