联邦学习 第九讲
先验知识
大模型微调技术
高效参数微调：只训练小部分的参数
优点：显存占用少，训练速度快，更低的存储成本，精度和全量微调出于同一水平
Lora
P-Tunning V2
联邦大模型微调架构
可信执行环境TEE
具有运算和存储功能，提供完整性和安全性的独立处理环境
分配一块隔离的内存，所有敏感数据的计算都在这块内存中除了授权的接口，其他不能访问这块内存
存在的安全问题：
恶意服务端窃取微调参数并推断客户端数据
恶意客户端通过微调参数以及向前embedding退出其余客户端数据，微调参数被各方持有，参数不可控和滥用
参数可控的分布式训练
算法模型
942
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
