联邦学习（电子工业出版社）——读书笔记（6）

第七章 联邦学习激励体制

在联邦学习中，如何建立激励体制使得参与方持续参与到数据联邦中是一项重要的挑战。它的任务目标位最大化联邦的可持续经营，同时最小化参与方间的不公平性，动态地将给定的预算分配给联邦中的各个参与方，还可以扩展为一种能够帮助联邦抵御恶意的参与方的调节机制。

贡献的收益

联邦可以与参与方们共享部分收益，以此作为激励。这里的研究问题是，如何以情境感知等方式量化每个参与方位联邦带来的增益，从而实现联邦长期的可持续经营。

收益分享博弈

一般而言，广泛使用的收益分享方法可以分为三类。

1. 平等（Egalitarian）。由数据联邦产生的任何效用，都平均分配给帮助生成它的参与方。
2. 边际收益（Marginal gain）。数据联邦中的参与方的收益是它加入团队时所产生的效用。
3. 边际损失（Marginal loss）。数据联邦中的参与方的收益是它离开团队时所产生的效用。

注意，用户的算力、本地数据不同，带来的收益不同。此外，边际收益和边际损失并不相同，因为一个用户加入/退出的效用与加入时联邦原本的情况（加入先后顺序）有关。

虽然参与方对数据联邦的贡献是一个重要的考虑因素，但在为联邦学习设计激励机制时，这不是所需要考虑的唯一因素。任何为联邦学习设计的收益分享方法都应该考虑到参与方加入联邦会产生的代价。

如果参与方付出的代价非常高，联邦带来的收益可能不够一次性补偿这一代价，因此联邦可能要求分期地支付给参与方。因为从本质上来说，参与方们是在将各自的资源（如数据）借给联邦以产生收益。

反向拍卖

这类方法基于一种假设，即中央实体清楚自己需要何种数据（如地理分布）。然而，这类方法通常假设数据质量与成本或代价无关（因为反向拍卖需要相同的物品）。一种不好的结果是，参与方可能仅仅为了获取回报，而提交不具有信息的数据来套利。

另一种获取指定质量的数据的方法是发布奖励，这是一种只能接收或放弃的方法。联邦可以发布一个固定额度的奖励，以奖励哪些能够贡献具有指定质量的数据的参与方。如果需要付出的代价低于能够得到的回报奖励，参与方可以选择参与到联邦模型训练中去；或者如果代价高于能够得到的奖励，则参与方可以不参与。

注重公平的收益分享框架

上文中提到的方案可以扩展至参与方们未被预先奖励的情况，但他们必须等待联邦模型产生的利润，之后才能得到奖励。

建模贡献

联邦可以进行沙盒（sandbox）模拟，以估计参与方的贡献对模型性能的影响。评估的结果由一个变量q_i记录，表示联邦模型从参与方i的最新贡献中可以获得的期望边际收益。

建模代价

联邦可以询问每一位参与方，获取各自的数据贡献所需要支付的报酬，之后筛选允许加入联邦的参与方。

建模期望损失

对于每一位参与方i，随着时间的推移，联邦会持续追踪从贡献给联邦的数据中得到的收益回报。因为这个值代表了参与方目前已经接收到的和其应该收到的收益之间的差别，我们将其定义为期望损失。

建模时间期望损失

在一些情况下，由于联邦中预算的限制，一次性付清奖励需要的花费代价可能会过高。对于这种情况下，联邦需要计算分期支付，以多个轮次向参与方支付收益回报。

收益分享方法可以确保参与方不仅因为他们的数据贡献被补偿，还会因为等待的时长而获得更多的回报，让他们认为加入联邦是“值得的”，从而吸引他们加入。

策略协调

这里定义了三个公平标准，它们对于联邦的长期持续经营是非常重要的。

1. 贡献公平度。参与方的回报应该与其对联邦的贡献明确相关
2. 期望损失分配公平性。参与方间的期望损失和时间期望损失应该尽可能小。
3. 期望公平性。参与方的期望损失和时间期望损失随时间推移而产生的变化应该尽可能的小。

挑战与展望

最具挑战性的任务之一是估计参与方加入联邦的代价成本。联邦可以要求每个参与方去给出贡献数据的回报，然后筛选出允许哪些参与方加入联邦。

另一个挑战是如何估计参与方对联邦做出的贡献。联邦可以运行一个沙盒模拟来估计参与方的贡献对模型性能的影响。