CD2-pFed: Cyclic Distillation-guided Channel Decoupling for ModelPersonalization in Federated Lear论文
背景
知识蒸馏
将同一批数据同时放入两个模型中,将教师模型的预测输出作为软标签,将真实标签作为硬标签,分别计算学生模型的两种损失,最后将两个损失加权求和,作为最终损失更新网络参数。预测的时候,仅使用学生模型。
本文内容
模型个性化的通道解耦
1)给目标模型的每一层分配一个可学习的个性化权重的自适应比例
2)定义了每一层的统一个性化分配率p∈[0,1]。
3)p比例的通道参数在本地进行训练不需要中央服务器聚合。
4)p越大,个性化程度越高。
渐进式的模型个性化
使用线性增长方案:
循
翻译
2022-05-23 15:09:21 ·
723 阅读 ·
5 评论