联邦学习 — 激励机制综述

背景介绍

联邦学习通常采用参数服务器体系结构，其中客户端训练由参数服务器下发的本地模型。一个典型的联邦学习过程包含很多训练轮次。在每一轮中，客户端从参数服务器下载新的全局模型，并分别用自己的数据训练一个本地模型。然后，客户端将训练后的模型上传到参数服务器，并聚合出一个新的全局模型。

联邦学习系统严重依赖于客户端的本地模型质量。然而，在没有足够回报的情况下，客户端可能不愿意参与或分享他们的模型。例如，当客户参与联邦学习时，不可避免的消耗他的设备的资源，包括计算资源、通信资源和能源。

此外，联邦学习框架面临着巨大的安全风险。例如训练数据的重要信息可以通过梯度推断出来。并且，参数服务器可以通过生成对抗网络来学习客户训练数据的私有信息。这些风险使得客户更不愿意参加联邦学习任务，除非他们可以获得足够的奖励。所以我们需要在联邦学习中设计一个合理的激励机制来激励客户端参与训练。

在联邦学习激励机制的设计中，有两个重要的挑战：

(i)如何评估每个客户的贡献

(ii)如何招来并留住更多的客户端

第一个挑战是从参数服务器的角度来看，因为不同的学习任务需要客户在不同的训练数据上训练不同的机器学习模型，因此如何通过提供最低的回报来获得更高的学习性能是具有挑战性的。

第二个挑战来自客户端的角度。也就是要提供一个公平、有回报又安全的联邦学习环境，从而获得足够多的客户端参与。

激励机制

激励措施可以主要分为正向激励和反向惩罚。正向的激励是通过奖励来激励他人，而反向的激励则是通过惩罚个人来避免恶意行为。

利用博弈论来设计激励机制已经在感知、边缘计算等领域也得到了广泛的研究。例如：

Yang 等人[1]分别使用斯塔克尔伯格博弈和拍卖理论研究了以平台为中心和以用户为中心的众包。Li 等人[2]提出了激励用户使用设备间通信的激励机制。他们考虑了两个不同的环境，一个是完美信息环境，用户有所有用户的信息，另一个是非完美信息环境，用户只有他们自己的信息。Jhan等人[3]设计了机会网络的激励机制，并分别设计了在线和离线方法。

但在这些领域的激励机制设计中，我们可以准确构建每个参与者的贡献模型，然后应用博弈论分析每个参与者的行为。

而在联邦学习激励机制设计中，量化每个客户的训练数据价值、并对联邦学习系统的最终模型性能进行建模是很困难的。因此，在联邦学习中，很难对每个参与者（参数服务器和客户端）的贡献进行建模，这使得现有的关于激励机制设计的方式不能直接应用在联邦学习上。

基于客户端的数据贡献的激励机制

数据质量
数据数量

基于客户端信誉的激励机制

基于客户端资源的激励机制

计算资源
通信资源

多方联邦学习的激励机制

激励驱动的联邦学习

激励机制与安全

（挖坑 长期施工 ）

REFERENCES

[1] D. Yang, G. Xue, X. Fang, and J. Tang, “Crowdsourcing to smartphones: incentive mechanism design for mobile phone sensing,” in Proc. of ACM Mobicom, 2012, pp. 173–184.
[2] P. Li and S. Guo, “Incentive mechanisms for device-to-device communications,” IEEE Network, vol. 29, no. 4, pp. 75–79, 2015.
[3] Y. Zhan, Y. Xia, J. Zhang, and Y. Wang, “Incentive mechanism design in mobile opportunistic data collection with time sensitivity,” IEEE Internet Things J., vol. 5, no. 1, pp. 246–256, 2018.