正类标签的联邦学习（Federated Learning with Only Positive Labels）

Federated Learning with Only Positive Labels

论文传送：https://arxiv.org/pdf/2004.10342.pdf

以下是个人理解，欢迎批评指正！

论文概括：

本文主要针对的是一种横向联邦non-iid场景下的极端问题（即每方仅持有一类标签）进行讨论。按照传统联邦学习架构，通过SGD迭代后将会导致变成一个单一分类器，特别是针对嵌入分类器，这将导致结果输出为单一的点。因此，本文提出FedAwS，一种仅使用正标签进行训练的通用框架。

分类模型：

将分类模型重定义为：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r0C8dAX1-1626766580694)(https://www.zhihu.com/equation?tex=f%28x%29+%3D+Wg_%7B%5Ctheta%7D%28x%29)]

其中 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ynpEtWcI-1626766580696)(https://www.zhihu.com/equation?tex=g_%5Ctheta%3A%5Cchi%5Cto%7B%5Cmathcal%7BR%7D%7D%5Ed%2CW%5Cin%7B%5Cmathcal%7BR%7D%7D%5E%7BC%5Ctimes+d%7D)] ，重定义后的分类模型将输入数据通过 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J3WW2NTA-1626766580697)(https://www.zhihu.com/equation?tex=g_%5Ctheta%28x%29)] 将高维特征映射到d维，后通过embedding矩阵将低维特征计算其在C分类结果。由此该分类模型由参数 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bTd5JRcC-1626766580697)(https://www.zhihu.com/equation?tex=%5C%7BW%2C%5Ctheta%5C%7D)] 定义。

本地模型更新方式（梯度下降）：

全局模型参数更新方式（同横向联邦）：

损失函数定义：包括正项和负项的区分

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VYmKnUQk-1626766580699)(/Users/chenxiaolin/Library/Application Support/typora-user-images/image-20210720152040480.png)]

目标是为了：

1）使得嵌入向量和正类嵌入向量足够接近

2）使得嵌入向量和负类嵌入向量足够远离

为了保证类向量间不同嵌入向量的距离，我们引入几何正则项：

算法

设定有C个参与者参与，第i个参与者拥有第i类的数据集。便于理解直接就算法流程图讲解，见下图。

该算法中值得注意的点有两点：

每个Client仅负责embedding矩阵W中的某一个行向量 ，可以从第13行看出。
关于embedding矩阵 W的更新是在Server端进行梯度下降的更新。

实验结果：

个人理解：该论文针对极端条件下的嵌入多任务联邦学习分类做了一定改进，侧重理论分析部分，但是在实际应用中，几乎不存在这样的场景，实际意义不大，理论意义更多一些。