【联邦学习贡献评估——联邦学习优化】

1. 模型复用

贡献评估往往需要计算不同参与方组合的数据价值, 然而模型相关的价值度量指标, 比如测试准确率, 需要基于数据重新训练并评测模型, 这导致了高昂的数据价值度量代价. 为了避免重复训练联邦模型的代价, 考虑复用全体参与方组合下训练联邦模型时各参与方的梯度更新, 避免在其他参与方子组合下训练模型时各 参与方重复的梯度计算, 大大减少模型训练相关的代价。

直接方式（不推荐）：对于每个参与方子 组合, 复用相关参与方的梯度更新来完成模型的多轮次训练, 然后评测模型度量子组合数据价值. 但是因为 复用的梯度值不能代表参与方子组合数据的最优梯度方向, 经过多轮次训练后, 模型训练的累积误差大, 导 致近似价值度量不够准确.

合适的思路：评估各参与方在每轮次训练的贡献, 聚合多轮贡献来评估 参与方在联邦合作中的贡献

具体的思路：,

1. 全体参与方合作训练联邦模型, 在每轮次中, 根据本地数据向联 邦发送梯度更新, 联邦枚举不同参与方组合梯度计算各参与方在本轮次的贡献期望, 然后, 联邦聚合所有参 与方梯度完成本轮次的全局模型更新.
2. 基于每轮次评估参与方贡献的设定, 实现了在梯度复用的同时 , 大大 提升评估的准确性. 但是由于每轮次均需要评测模型性能, 评测次数随训练轮次线性增大, 加大了模型评测的代价.

缺陷的解决方案1：Wang 等人在每轮次评估中仅采样部分参与方进行贡献评估, 并将未被采样的参与方在该轮次的贡献视为 0. 然而, 由于模型训练的性能提升增益随训练轮次 逐渐收敛, 该方法对于未在靠前轮次中被采样到的参与方不公平.

解决方案1的补充：为了提升每轮次仅采样部分参与方进行贡献评估的公平性, 观察到多轮次不同参与方组合价值构成的矩 阵具有低秩特性, 可以将价值度量转换为采样下的低秩矩阵补全问题.

2. 模型剪枝

在联邦参与方贡献评估过程中, 从采样排列中参与方的边际价值增益、模型多轮次训练的性能提升和数 据样本这 3 个层面, 均可以进行剪枝优化.

• 排列剪枝
  • 在贡献评估的随机采样优化中, 对于每个排列, 需要从前往后计算每个参与方加入前缀参 与方组合带来的边际贡献. 在假定所有参与方的边际贡献非负的情况下, 排列从前往后引入新参与 方的过程中, 前缀参与方组合的数据价值逐渐趋近于全体参与方组合的价值.
  • 因此, 可以设置边际增 益阈值, 当排列中参与方前缀组合的价值与全体参与方组合的价值差小于阈值时, 往后的参与方不 会带来显著边际增益, 因此可以剪枝停止计算引入剩余参与方的组合数据价值, 有效地提升参与方 数量庞大情况下的计算效率
• 训练剪枝
  • 机器学习模型往往需要多轮次训练才能收敛, 为了降低数据估值任务中模型的训练代价, 不必像模型应用性能测评中一样, 尽可能地让模型收敛, 在模型性能提升波动小于一定程度时进行 剪枝, 提早结束模型训练. 甚至为进一步提升联邦数据评估效率, 可以根据任务复杂度适当提升模型 学习率, 仅进行单轮次模型训练
• 数据剪枝
  • 基于局部相关特性, 联邦采用 K 近邻任务模型可实现贡献评估的数据样本剪枝。
  • K 近邻 方法价值计算仅关联到离测试样本最近的 k 条训练数据样本, 可忽略离测试样本距离过远的数据样 本, 因此可以对远距离样本剪枝来提升贡献评估效率.

3. 模型性能优化

在联邦学习实践中, 无法保证所有参与方均提供高价值无恶意的数据. 为了保证联邦学习效果 , 抵御恶意参与方攻击是联邦学习的一个重要研究议题[77]. 从优化联邦学习效果角度出发, 贡献评估技术可用于优化 联邦模型训练, 即择优选择参与方数据, 优化参与方参与程度, 减少使用低价值或恶意参与方数据, 降低恶意 参与方对模型性能的负面影响。

• 按贡献调整联邦参与程度
  • 根据参与方的贡献大小, 调整参与方在联邦训练中的参与程度. 在经典联 邦学习中, 所有参与方在联邦合作中参与程度仅与数据量挂钩, 即基于 FedAvg, 按照各参与方数据 量加权聚合各参与方的梯度更新.
• 设阈值移除低贡献参与方
  • 当不存在完备联邦测试集时, 可以根据参与方之间交叉验证来鉴定并移 除低贡献参与方.
• 按贡献奖励不同任务模型.
  • 在很多联邦学习设定中, 参与方参与联邦学习的目的是获取性能更高的 任务模型, 因此, 可以通过贡献大小来奖励相应性能的任务模型来避免低价值或者恶意参与方. 实现 参与方按贡献获得不同任务模型, 需要改变经典联邦学习中每轮次训练后联邦同步最新全局模型给 每个参与方的设定.

4. 相关的论文