联邦学习论文阅读笔记

一、前缀基础知识

• FL的两大挑战：高通信开销和严重的安全风险
• 联邦学习——在不共享数据的情况下联合训练机器学习模型。可以通过交换梯度/模型参数将数据保持在客户上进行协作训练。
  联邦学习在每次迭代中，执行三个步骤：
  1)服务器将当前全局模型发送给客户端；
  2)客户端根据全局模型及其本地训练数据更新其本地模型，并将模型更新发送给服务器；
  3)服务器聚合模型更新并使用它们更新全局模型。
  然后使用所学的全局模型来预测测试示例的标签。
• 联邦平均化——平均来自本地客户的梯度
• MTL是在联邦环境中处理统计挑战的自然选择
• Non-IID——非独立同分布、SGD——随机梯度下降
• 在联合学习应用程序中，许多设备可能非常不可靠，甚至很容易被黑客破坏。 我们称这些设备为Byzantine workers。
• Byzantine-robust的联邦学习旨在使服务提供者能够学习一个准确的全局模型时，有限数量的客户端是恶意的。
• 现有的Byzantine-robust federated methods的关键思想是，服务提供商在客户端的本地模型更新之间进行统计分析，移除可疑的模型，然后将它们聚合以更新全局模型。

二、论文笔记

A Theoretical Perspective on DP Federated MTL - preprint’20

提出了一种差分隐私联邦多任务学习方法，用于具有差分隐私的有效参数传输，以保护客户端级别的梯度。具体来说，网络的下层在所有客户端之间共享，以捕获可转移的特征表示，而网络的顶层则是特定于客户端个性化的任务。算法自然地解决了联邦网络中的统计异质性问题。此外，作者团队建议在客户端加入不同的隐私权，以保护在FL通信过程中的梯度信息。证明了局部Lipschitz光滑目标函数在全局非凸性、凸性和强凸性下的收敛性，为联邦算法提供隐私和收敛保护。

Federated Multi-Task Learning - NIPS’17

针对分布式多任务学习的高通信成本、分层和容错问题，作者提出了一个系统感知优化方法MOCHA，来解决一个一般的MTL问题。该方法推广了分布式优化方法的核心算法，以解决与网络大小和节点异质性相关的系统挑战。MOCHA方法是收敛的。
联邦多任务学习：提出了数据上的挑战与系统上的挑战，这两种概念。不同于之前的联邦学习工作，这篇文章考虑了针对每一个存放数据的结点都训练了一个模型，这样来解决数据挑战问题。

FLTrust _ Byzantine-robust Federated Learning via Trust Bootstrapping - NDSS’21

在论文中，作者提出了FLTrust来为联邦学习提供信任。
服务器本身为学习任务收集一个干净的小型训练数据集（根数据集），然后根据它维护服务器模型以引导信任。
在每次迭代中，服务器为客户端的每个本地模型分配一个信任分数，如果本地模型更新的方向偏离服务器模型更新的方向，则具有较低的信任分数。把模型更新看做一个向量，它的特征是它的方向和大小。服务器将本地模型更新的大小标准化，限制具有较大规模的恶意局部模型更新的影响，使它们与向量空间中的服务器模型更新位于向量空间的相同超球体中。最后，服务器计算按信任分数加权的标准化局部模型更新的平均值，用于更新全局模型。

Provably Secure Federated Learning - NIPSw’20

提出了一个算法，算法学习多个全局模型，每个模型都是使用随机选择的客户端子集学习的。作者团队表示他们集成全局模型预测的测试示例的标签不受有限数量的恶意客户端的影响。
理论结果一：当恶意客户端的数目不超过阈值时，作者团队聚集的全局模型能够预测测试样本x的标签，标签结果与无恶意客户端时相同。这被称为certified security level（认证安全级别）。
理论结果二：作者团队证明了他们提出的certified security level是紧密（tight）的，即当没有对基本联邦学习进行任何假设时，就不可能得到比他们更大的认证安全级别。

RSA _ Byzantine-robust stochastic aggregation methods for distributed learning from heterogeneous datasets - AAAI’19

本文研究了在一般的Byzantine failure model下的分布式机器学习，其中Byzantine workers可以任意修改从自己传输到主人的信息。目标是开发高效的分布式机器学习方法，并提供可证明的性能保证。
作者团队提出了Non-IID的Byzantine-Robust Stochastic Aggregation（鲁棒的拜占庭随机集合）方法，简称RSA，用于在未知数量的Byzantine workers存在下从异构数据集进行分布式学习。提出的方法的关键是一个包含了目标函数的正则化项，它可以破坏学习任务，并减轻拜占庭攻击的负面影响。
i)RSA 收敛到一个接近最优解，学习误差取决于拜占庭工人的数量；
ii)拜占庭攻击下 RSA 的收敛速度与不受拜占庭攻击的随机梯度下降法相同。

三、总结

Byzantine-robust的主要思想是减轻异常值在客户端模型更新中的影响。研究表明，恶意客户端可以通过仔细篡改发送给客户端的模型更新（向量）来大大降低Byzantine-robust方法学习的全局模型的测试精度。
FL目前的挑战是高通信开销和严重的安全风险，高通信开销与模型的复杂度有关，安全风险指信息泄露，要点在于防御。