第一部分:解决的问题
- 联邦学习(Federated Learning, FL) 是一种分布式学习方法,允许多个客户端在不共享原始数据的情况下协作训练模型。
- 为保护数据隐私,差分隐私(Differential Privacy, DP)被集成到联邦学习中,形成差分隐私联邦学习(DPFL)。
- 然而,现有DPFL方法(例如DP-FedAvg)由于对模型更新的裁剪和噪声添加操作,在异构数据环境下(如非独立同分布数据,Non-IID)导致模型性能显著下降。
第二部分:解决问题使用到的方法
论文提出的 DP2-FedSAM 方法,通过以下改进在保障隐私的同时显著提升了模型性能:
(1)部分模型个性化(Partial Model Personalization):
将模型划分为共享的表示提取器和个性化的分类器头,只共享表示提取器。这减少了数据异构性带来的偏差并缓解了裁剪误差。
(2)敏锐感知最小化(Sharpness-Aware Minimization, SAM):