联邦学习中的安全与隐私问题综述

这篇文章是2021年发表在《Future Generation Computer Systems》上的一篇关于联邦学习安全与隐私问题的综述，以下是自己的重点总结。
论文链接：《A survey on security and privacy offederated learning》

我只总结了联邦学习中的安全和隐私问题，文章的其余部分没有总结，
详细总结的见：联邦学习中的安全与隐私问题综述

4 联邦学习安全性

调查以下有关 FL安全方面的研究问题：
• RSQ1：FL 生态系统中的漏洞来源是什么？
• RSQ2：FL 域中存在哪些安全威胁/攻击？
• RSQ3：与分布式机器学习解决方案相比，FL 面临哪些独特的安全威胁？
• RSQ4：FL 安全漏洞的防御技术有哪些？
在以下部分中，根据每个研究问题讨论结果，并对当前工作的优点和缺点进行分析。

4.1 问题1：FL生态系统的漏洞来源是什么？

对FL流程中的漏洞来源进行了分类。 结果表明，下面列出的五种不同来源可以被视为利用的弱点。

• 通信协议：FL对随机选择的客户端实施迭代学习过程，其中涉及给定网络上的大量通信。FL 方法建议采用混合网络，该网络基于公钥加密技术，可在整个通信过程中保持源和消息内容匿名。由于FL的训练轮次较多，非安全通信通道是一个开放漏洞。
• 客户端数据操作：在更大的环境中，FL 有许多客户端可供攻击者利用模型参数和训练数据。对全局模型的访问可能更容易受到数据重建攻击。
• 受损的中央服务器：中央服务器应该稳健且安全，中央服务器负责共享初始模型参数、聚合本地模型以及向所有客户端共享全局模型更新。应检查为此作业选择的基于云的服务器或物理服务器，以确保服务器的开放漏洞不会被好奇的攻击者利用。
• 较弱的聚合算法：聚合算法是中央权威。换句话说，作为本地模型的更新，它应该能够智能地识别客户端更新的异常，并且应该具有丢弃来自可疑客户端的更新的配置。未能配置标准化聚合算法将使全局模型容易受到攻击。
• FL 环境的实施者：参与 FL 实施的架构师、开发人员和部署人员团队可能有意或无意地成为安全风险的来源。 由于对什么是敏感用户数据和什么不是敏感用户数据的混淆或缺乏了解可能是违反安全和隐私的原因。 实施者的风险可能是由于他们没有采取适当的措施来扫描敏感数据并计划其使用，在征得用户同意数据使用的同时隐藏事实。

4.2 问题2：FL域中存在哪些安全威胁/攻击？

威胁/攻击是指恶意/好奇的攻击者利用漏洞影响系统安全并违反其隐私策略的可能性。恶意代理利用漏洞 [99] 来控制一个或多个参与者（即客户端），以最终操纵全局模型。安全威胁/攻击涉及中毒、推理、后门攻击、GANS、系统中断IT停机、恶意服务器、通信瓶颈、搭便车攻击、不可用性、窃听、与数据保护法的相互作用。

4.2.1 中毒

FL 中最有可能发生的攻击被称为中毒 ，因为 FL 中的每个客户端都可以访问训练数据，因此将篡改数据权重添加到全局 ML 模型中的可能性非常高。 中毒可能发生在训练阶段，并可能影响训练数据集或本地模型，进而/间接地篡改全局 ML 模型的性能/准确性。在FL，模型更新来自大量客户。也就是说，来自一个或多个客户的训练数据的中毒攻击的可能性很高，威胁的严重性也很高。中毒攻击针对 FL 过程中的各种工件。 接下来我们简单介绍一下中毒攻击的分类：

1. 数据中毒
FL中的数据中毒被定义为生成脏样本来训练全局模型，希望产生伪造的模型参数并将其发送到服务器。数据注入也可以被视为数据中毒的一个子类别，其中恶意客户端可能将恶意数据注入客户端的本地模型处理中。因此，恶意代理可以控制多个客户端的本地模型，并最终用恶意数据操纵全局模型。

2. 模型中毒
在数据中毒中，恶意代理旨在使用虚假数据操纵全局模型，而在模型中毒中，恶意代理直接针对全局模型。最近的研究表明，模型中毒攻击比数据中毒攻击更有效[100,104,105]。 事实上，当一个有很多客户端的地方有大规模的 FL 产品时，模型中毒攻击的有效性往往会上升。一般来说，在模型中毒攻击中，恶意方可以在将更新后的模型发送到中央服务器进行聚合之前对其进行修改，从而导致全局模型很容易被中毒。

3. 数据修改
数据篡改/修改攻击可能涉及更改/改变训练数据集，例如特征冲突[106]，它合并数据集中的两个类，试图欺骗机器学习模型，使其始终对目标类进行错误分类。有些技术包括简单地将另一个类的阴影或图案添加到目标类中，这可能会混淆 ML 模型。另一种技术是对训练数据集进行随机标签交换。数据注入和数据修改攻击可以被视为 FL 中的一种 ML 数据中毒攻击 [107]。

4.2.2 推理

推理攻击更多的是对隐私的威胁（如第 5.1 节所述），但我们将其包含在此处是为了对 FL 中的威胁进行总体比较。 推理攻击的严重性与投毒攻击非常相似，因为在 FL 过程中，来自参与者或恶意中心化服务器的推理攻击的可能性非常高。

4.2.3 后门攻击

与后门攻击相比，投毒和推理攻击更加透明。 后门攻击是一种将恶意任务注入现有模型，同时保留实际任务准确性的方法。识别后门攻击既困难又耗时，因为实际机器学习任务的准确性可能不会立即受到影响。[92,100] 中的作者对如何实施后门攻击进行了实验。此外，[108,109] 中的作者建议将模型修剪和微调作为减轻后门攻击风险的解决方案。后门攻击的严重性很高，因为需要花费大量时间来识别攻击的发生。此外，该攻击的影响很大，因为后门攻击能够混淆 ML 模型并自信地预测误报。木马威胁[100,110–113]是一类类似的后门攻击，它们试图保留机器学习模型的现有任务，同时以隐形模式执行恶意任务。

4.2.4 GANS

许多研究人员已经对 FL 中基于 GAN 生成对抗网络的攻击进行了实验和分析 [114]。 由于能够发起投毒和推理攻击，基于 GAN 的攻击对给定系统的安全和隐私构成了威胁，更多内容将在 5.1.3 节中讨论。 [115]中的研究工作展示了如何使用 GAN 通过推理来获取训练数据，并使用 GAN 来毒害训练数据。由于无法预见基于 GAN 的威胁的所有可能性，因此它被归类为高影响力和优先威胁。有关基于 GAN 的攻击的更多信息可以在 [116,117] 中找到。

4.2.5 系统中断IT停机

生产系统停机是信息技术 (IT) 行业不可避免的威胁。 人们经常观察到，由于后端服务器上计划外或计划内的活动，高度配置和安全的应用程序需要进入停机阶段。 在 FL 中，这种威胁的严重性较低，因为我们在每个客户端节点上都有本地-全局模型，并且训练过程可以在中断后恢复。 即使严重程度较低，这也是一个相当大的威胁，因为停机可能是一次精心策划的攻击，目的是从 FL 环境中窃取信息。

4.2.6 恶意服务器

在跨设备FL中，大部分工作是在中央服务器完