「联邦学习论文04」Collaborative Fairness in Federated Learning

大家好，今天说的这篇论文是2020年FL-IJCAI’20 workshop的《Collaborative Fairness in Federated Learning》，一篇很简短易懂的论文

一句话总结：这篇论文提出CFFL框架，根据参与者的声誉收敛到不同模型，实现联邦学习公平协作

论文地址在这：https://arxiv.org/abs/2008.12161

先看摘要：

大多数FL研究都忽略了协作公平，为了解决2这个问题，这篇文章不就来了嘛

提出了CFFL框架，根据声誉机制，让FL参与者收敛至不同模型，从而实现公平性。

前言的结构：介绍联邦学习==》引出公平问题 ==》本文方法 ==》 本文贡献

协同公平：高贡献者获得更好的模型奖励，

CFFL方法

服务器有一个记录所有参与者的声誉列表，每轮根据参与者上传梯度的质量更新声誉，引入一个参数上传率${\theta }_{\mu }$ ，当${\theta }_{\mu }=1$表示上传所有参数的梯度，${\theta }_{\mu }=0.1$表示只上传10%参数的梯度，把上传率从大到小排序一次上传在$\Delta {\omega }_j$ 中。

服务器通过参与者J上传的参数梯度评估参与者J的验证准确性

当上传率${\theta }_{\mu }=1$ ，$w_j$表示参与者j的整个模型

服务器验证公式：$vac{c}_j\leftarrow V({\omega }_j+\Delta ({\omega }_j{)}^S)$ ；

当上传率${\theta }_{\mu }\ne 1$ ，就把将参与者J上传的梯度保存到辅助模型${\omega }_g$ 中，

服务器验证公式：$vac{c}_j\leftarrow V({\omega }_g+\Delta ({\omega }_j{)}^S)$

然后服务器对$vac{c}_j$进行规范化，通过$\sinh (\alpha )$函数计算每轮参与者J的声誉$C_j$

$C_j=\sinh (\alpha \ast x)$

其中x越高，表示参与者J上传的梯度信息越多，α表示惩罚因子

服务器基于每轮计算的声誉及其历史声誉分别迭代更新每个参与者的声誉，声誉值过低会禁止参加FL训练，避免了搭便车情况。

既然按照声誉实现了公平，就得看看到底公平了多少，量化公平

参与者贡献X轴，参与者奖励Y轴

量化协作公平性，公平性的范围在[-1,1]，较高的值意味着良好的公平性。 反之，负系数意味着公平性差

实验

数据集选择了 MNIST 和 成人人口普查Adult

选择两个基线：FedAvg和DSSGD

研究不同的上传速率$\theta =1和\theta =0.1$

研究了两个场景：数据大小不平衡，类数量不平衡

在公平性上，可以看出 CFFL的公平性高

在精度上逼近FedAvg和DSSGD，高于独立框架

对于搭便车的鲁棒性，免费搭便车者声誉将逐渐降低，在CFFL框架中，当参与者的声誉值低于某个阈值，就与系统隔离，自然解决搭便车问题。不过要选择适当的阈值，因为公平性和准确性可能会受到不利影响。阈值太小 太大都不行。

但本文未能权衡通信成本和模型性能

总结：这篇论文的思想很好理解，通过声誉机制，让参与者收敛至不同模型实现公平。

就是多劳多得、少劳少得的思想，按劳分配，哈哈哈哈哈

那联邦学习除了上面这种按劳分配的贡献公平性；还有一种公平性是均衡公平性，也就是“人人平等”，不患寡而患不均，这种公平性实现一般通过客户选择、权重重新分配、个性化实现

我看到一些论文会用「区块链+声誉机制」的方法，用区块链去中心化的特点记录参与者的声誉值。有三篇类似论文：

《2020-Mobile edge computing blockchain and reputation-based crowdsourcing iot federated learning: A secure, decentralized and privacy-preserving system》提出一个基于区块链的声誉系统，一开始所有客户的声誉值相同，客户成功上传模型，声誉值会增加，如果上传恶意参数，声誉值则减小。服务器会根据声誉值选择可靠的客户，高声誉值客户更容易被选中获得更多奖励。

《2020-IEEE-Towards blockchain-based reputation-aware federated learning》提出了一个基于区块链的信誉系统，搭建了数据拥有者边缘设备、数据仲裁者雾节点和模型所有者云服务器的三层协作框架，云服务器将更新的模型发给雾节点，雾节点再把更新的本地模型发给边缘设备，通过智能合约对联邦学习中每个参与者的声誉进行聚合、计算和记录。该系统保证了隐私安全，保证用户提供真实的数据，但模型复杂度高、计算和通信成本高。

但是，评分机制过于主观，缺乏质量评价方案；每个参与者只有一个分数容易受到恶意评分。《2020-IEEE-Reliable federated learning for mobile networks》采用多权重主观逻辑模型，根据参与者的历史表现和其他参与者的推荐计算声誉，设计区块链管理、记录数据所有者的声誉。