Privacy-preserving model training architecture for intelligent edge computing

Privacy-preserving model training architecture for intelligent edge computing【论文阅读】

提出了基于云-边缘-设备协同方式实现智能边缘计算的最大似然模型训练架构

该架构分为两个阶段

1. 云和边缘服务器之间的协同联合预训练，受联邦学习启发，根据边缘服务器对模型预训练的贡献，提出一种公平报酬分配的激励机制
2. 边缘服务器和设备之间的基于隐私保护的模型分割训练，利用同态加密实现终端设备上的模型改进和保护，同时将大量计算转移至边缘服务器

受迁移学习的启发，边缘部分的参数保持不变，而设备部分的参数定期更新。由于模型的改进部分只由终端设备维护，因此改进后的模型永远不会泄露用户的隐私

框架：
第一阶段：预训练一个N层基础模型
第二阶段：在第i层分割

第一阶段：
联邦预训练过程（以横向联邦学习为例）

1. 云中心生成一对密钥并确定初始模型结构，这些密钥被广播到边缘服务器
2. 每个边缘服务器根据连接的设备提供的共享数据计算损失函数和梯度更新，或直接使用历史中间结果，这些结果使用接受到的公钥加密，然后发送回云
3. 云对边缘服务器发送的更新进行解密，然后将它们聚合成一个改进的模型
4. 聚集的结果将被发送回到每个边缘服务器用于模型更新

联邦预培训的激励机制
目标：
考虑到边缘服务器提供的宝贵数据、能耗、内存、处理能力等资源，根据边缘服务器的贡献公平分配奖励，以吸引其持续参与联合预培训
不应该忽视半诚实或不诚实的边缘服务器的存在，它们提供毫无意义或虚假的数据来干扰模型训练和分享利益

第二阶段
模型分割训练（以DNN为例）
模型分割机制
将DNN模型分为两个部分，设备部分模型和边缘部分模型
边缘服务器负责底部，也就是第1至i-1层
终端设备负责顶部，也就是第i至N层
受迁移学习的启发，浅层可被视为通用特征提取器
边缘部分模型直接从特征提取器预训练DNN的底部导出
设备部分模型将基于终端设备生成的私有数据进行改进
基于同态加密对两个部分通信的数据进行加密，使用第一层的加密数据来计算第二层和更深层的输出，而无需解密