[学习笔记]适可而止：生产联邦学习中针对梯度泄漏的自适应防御

一、摘要

        随着人们对梯度隐私泄露的关注日益增加，出现了各种攻击机制，以在诚实但好奇的服务器上从梯度中恢复隐私数据，这挑战了联邦学习中隐私保护的主要优势。然而，我们对这些梯度攻击对生产联邦学习系统的真正影响表示怀疑。通过去除文献中提出的一些不切实际的假设，我们发现梯度攻击对原始数据的隐私构成了有限程度的威胁。

       通过对联邦学习系统中现有梯度攻击的综合评估，并结合实际假设，系统地分析了其在多种配置下的有效性。我们提出了使攻击成为可能或更强所需的关键先验，例如初始模型权重的窄分布，以及在训练的早期阶段的反演。然后，我们提出了一种新的轻量级防御机制，该机制在整个联邦学习过程中提供足够的自适应保护，以防止时变的隐私泄露风险。作为梯度摄扰方法的一种变体，我们提出的防御称为哨站(OUTPOST)，它根据Fisher信息矩阵在每次更新迭代时选择性地向梯度中添加高斯噪声，其中噪声的水平由每层模型权值的扩散量化的隐私泄露风险决定。为了限制计算开销和训练性能下降，前哨只执行基于迭代的衰减的扰动。我们的实验结果表明，在收敛性能、计算开销和对梯度攻击的防护方面，前哨可以实现比最新技术更好的权衡。

二、介绍

       作为一种新兴的分布式机器学习范式，联邦学习(FL)允许客户端与私有数据协作训练机器学习模型，而无需将其传输