联邦学习论文笔记——一种联邦学习中的公平资源分配方案（田家会 α-Fedavg）

工作

• 首次引入Jain’s Index到FL领域
• 引入公平性度量参数α，使公平性与有效性可以通过α权衡
• 给出了α的确定方法（梯度下降求解）
• 实验验证

---

公平性度量

引入Jain’s Index

J(x)的取值在[1/N，1]区间
当J(x)取1时最公平，此时x1、x2、、、xn之间的方差最小
J(x)取1/N时方差最大

因此Jain’s Index借鉴到此处，十微克考察系统“公平性”。在后续工作中，将会用R（实际用户效用）替代公式中的xi。

---

FL公平性和有效性的度量方法

量化定义FL公平性和有效性

首先定义用户效用：

Rk=ak·pk（实际用户效用=模型准确率·聚合权重）

（模型准确率指，本轮中心参数服务器下发给参与者的全局模型，经参与者自己计算后获取的的准确率）
（聚合权重指，本轮中，各个节点将自己的梯度或模型参数发给中心参数服务器后，参数服务器根据【①上传的参数或梯度②上传的准确率】为各个参与者设计的聚合权重）
对于每个用户来讲，即希望准确率a高也希望聚合权重p高，用乘积作为效用

进一步定义系统 有效性量化E、公平性量化J：

有效性量化E：
是所有用户效用的和，它越高说明整个系统的有效性越高。
公平性量化J：
取值区间为[1/k，1]
是所有用户效用的Jain’s Index，用它衡量所有用户效用的分布是否均匀。（更直白的理解是，对于我们想实现的公平来讲，理想情况下，Jain’s Index=1，此时大家的效用都是相同的，也即对准确性a越高的用户应该指定更低的聚合权重p，反之准确性a越低的用户应该指定更高的聚合权重p）

权衡FL公平性和有效性的方案

根据每个用户的计算出的准确率，设计了最优权重p（opt）：

（注意公式中指数部分是α，指的是超参数α，而底数部分是a，指的是准确率a）

在该权值下，将其带入刚刚定义的有效性和公平性量化得到：
根据论文附录的证明可知，以上定义的最优权值p（opt），可以使得J(α)和随着α 的增大而增大，而使得E(α)和随着α 的增大而减小
也即：超参数α的增大，公平性提高，而有效性降低。

这也进一步说明了α可以作为协调系统公平性和有效性权衡的量。

关于最优权重p（opt）的设计

作者设计的最优权重p（opt），其实就是一个可以由α调节的“准确率在所有参与者准确率之和中的权重”

可以看出，α对该权重（聚合权重）的影响在于：

• 当α=1时，此时指数项为1，即准确率在所有参与者准确率之和中的权重
• 当α>1时，随α变大，权重的分配会倾斜给准确率a低的用户，他们会获得相对更高的权重（相比与α=1时）
• 当α<1时，随α变小，权重的分配会倾斜给准确率a高的用户，他们会获得相对更高的权重（相比与α=1时）

因此这一设计是有效的，可以实现对公平性的调节。实际算法中，α尽量取大，以此照顾低准确率参与者进而实现公平。α的增大，使得高准确率参与者的权重下降，系统总效用和下降，所以必然导致有效性的降低。
因此α的确在其中可以实现二者的衡量，此处的设计是α-Fedavg算法中α设计的核心和精髓。

---

参数α 的确定方法

系统优化问题描述：

即，在最低限度满足系统相比经典FL最终模型的有效性的基础上，最大限度去提高α使得公平性达到此基础上的最大值。

具体算法直接求解α较为困难，因此采用梯度下降的方法求解α，通过逼近ET来确定最优的α。算法描述如下：

此框架下的完整的联邦学习过程

（此处省略经典Fedavg算法的描述。）
α-Fedavg算法描述如下：

其中：
服务器端：
⑥描述的是：统计参与者准确性，函数返回客户端传回的准确性
⑧描述的是：更新参与者模型，函数返回更新后的模型参数或梯度
⑫描述的是：根据⑥ 返回的a和⑧返回的w，可以计算出各个参与者的最优聚合权值
⑮描述的是：根据⑫计算出的聚合权重，全局模型聚合操作
参与者端：
①函数：获得新的全局模型，奖本地模型替换为新的全局模型，然后进一步训练模型，并返回新的更新后的参数或梯度
⑩函数：客户端根据新下发的全局模型计算准确率，并返回准确率a

---

算法扩展

α-Fedavg考虑的情况是：

• 诚实的参与者
• 诚实但好奇的服务器

由于在实际场景中，需要考虑不诚实的参与者，可能会谎报模型参数或准确率，对于谎报准确率目前有成熟的解决方案，可以借助合成数据发布技术。（而对于谎报模型参数的参与者暂时没有提出解决方案）

合成数据发布技术简单介绍：

---

通信开销

与Fedavg相比：

其中第一个红圈处：服务器的额外开销，主要是计算各个参与者权重p付出的
其中第二个红圈处：参与者的额外开销，主要是计算全局模型在本地的准确率a付出的

---

实验

• 与Fedavg相比，模型准确率：

• 与其他FL中世家公平约束的方案相比（与q-FFL、FedFa、Fedavg相比）：

• 在分布转移下的性能对比（与AgnosticFair、AgnosticFair-a相比）：

---

未来展望

• 前面【算法扩展】提到的“对于谎报模型参数的参与者暂时没有提出解决方案”：

我们想研究如何抵御会上传伪造模型参数来影响聚合模型公平的恶意攻击者

• 此算法框架下的激励机制：

设计适用于本文算法的激励机制，鼓励更多的参与者加入我们的聚合过程

---

文章可能出现的错误或疑问请在评论区回复我。