A Little Is Enough: Circumventing Defenses For Distributed Learning（绕过对分布式学习的防御）

A Little Is Enough: Circumventing Defenses For Distributed Learning（绕过对分布式学习的防御）

0. 摘要：

分布式学习面临安全威胁：拜占庭式的参与者可以中断或者控制学习过程。
以前的攻击模型和相应的防御假设流氓参与者：

• (a)无所不知(知道所有其他参与者的数据)

• (b)对参数进行了较大的更改
  本文讲述了一种全新的方法，微小的攻击就可以防止模型收敛而且还可以进行模型反演。20%的腐败工人足以将CIFAR10模型的精确度降低50%，也可以在不损害精度的情况下为MNIST和CIFAR10模型引入后门。

1. 介绍

分布式学习的定义：服务器通过聚合在每个设备上训练的本地模型来利用多个设备的算力。
经典的分布式学习算法是 Syn-chronous Stochastic Gradient Descent (sync-SGD) 同步随机梯度下降。单个服务器（参数服务器PS）和n个工作节点。实验过程…但是万一有个拜占庭节点，这些模型的正确性就很难保证。比如一些错误：传输错误，数字错误，设备不在线，或者被故意设计。

攻击者要么控制设备本身，要么甚至只控制参与者和PS之间的通信，例如由中间人进行攻击。
分布式学习的关键就是假设所有节点的数据是独立同分布的。也就是说可以允许对模型求平均值。现在假设存在的所有攻击和防御都工作于一个假设：要实现恶意目标，需要对一个或多个参数进行较大的修改。也就是说在少量随机噪声的情况下，SGD也能较好的收敛。

现在就证明，这个假设是错误的，只需要对 少数节点的多个参数进行直接的小改变能够击败所有现有的防御，并对训练过程进行干扰或者控制。此前多说攻击集中训练过程中的收敛，我们有更广泛的攻击，引入了后门攻击。这样就能产生攻击者想要的输出。利用i，i，d假设，引入一种 non-omniscient attack（非全知攻击），在这种攻击中，攻击者只能访问被破坏节点的数据。

我们提出了一种新的攻击分布式学习的方法，具有以下性质:

1. 我们克服了所有现有的防御机制。
2. 我们计算了一个扰动范围，在这个范围内，甚至在i.i.d.假设的情况下，攻击者可以改变参数而不被发现。
3. 在这个范围内的更改对于干扰学习过程和破坏系统都是足够的。
4. 我们提出了第一个适用于分布式学习的非全知攻击，使该攻击更加强大和实用。

2. 背景

2.1. 恶意目标

预防收敛 攻击者干扰进程，就只是为了阻止服务器达到良好的精度。但是莫得啥用，没有啥好处，并且可以被服务器预防，并采取措施减轻攻击（主动阻止节点的子集并观察对训练过程的影响）。
后门攻击：又称Data Poisoning(数据中毒)，是攻击者在训练模型时，对模型进行操纵，使其在评估时产生攻击者选择的目标。后门攻击可以是单个样本，如将特定的人错误地分类为另一个人。也可以是一类样本，如在图像中设置特定的像素模式可以导致恶意分类。

2.2. 存在的攻击

分布式训练使用同步SGD协议。会在训练中搞破坏，用已经损坏的节点参数替换它想发给服务器的任何值。攻击方法可能在参数值的设置上有所不同，但防御方法就是试图识别损坏的的参数并丢弃。
后门攻击：攻击者对带有后门的模型进行优化，同时在损失上增加一项，使新参数与原始参数保持接近。攻击只需要几个不好的节点，并不需要知道全部数据。然而，它并不适用于分布式训练:在联邦学习中，每个节点使用自己的私有数据，这些数据来自不同的分布，否定了i.i.d假设，并在分布式学习的所有现有的防御假设下，使攻击更容易。

• 2018年，feng等人提出了一种针对联邦学习后门攻击的防御措施，依赖于数据的非i.i.d属性，这不适用于分布式训练。(那么我是不是可以认为iid是独立同分布？？？)
• 有些人提出了一些旨在检测后门的防御措施。但是，这些防御假设了一种单服务器训练，在这种训练中，后门被注入到服务器能够访问的训练集中，因此，通过集群或其他技术可以发现并删除后门。与此相反，在我们的设置中，服务器无法控制节点选择训练的样本，从而导致这些防御措施失效。最后，(沈等，2016)演示了一种在分布式训练中规避后门攻击的方法。如下所述，该方法是修剪均值防御的变体，我们成功地让这种方法失效。。

2.3. 存在的防御

Krum 和 Bulyan