《How to Backdoor Federated Learning》论文笔记

作者：Eugene Bagdasaryan Andreas Veit Yiqing Hua Deborah Estrin Vitaly Shmatikov
会议：AISTATS, 2020
发表时间：2018.7

背景：

联邦学习可以使成千上万的参与者构建一个深度学习模型，而无需共享他们的私人数据。但联邦学习容易受到攻击，主要是由于：(1)无法保证参与者中没有恶意的参与者；(2)攻击的防御需要将数据或者模型上传到聚合服务器，以进行异常检测，这与联邦学习保护用户隐私的初衷相悖。

创新点：

本文提出一种新的攻击方式——model replacement attack，效果比一般的毒化数据更好。采用constrain-and-scale和train-and-scale技术来改进攻击模型的生成，以躲避异常检测的防御。

概述：

1. 联邦学习模型概述：

2. 攻击概述：

服务器下发全局模型$G^t$到各个用户，其中分为良性用户和恶意用户。良性用户进行本地训练得到良性模型$L_a^{t+1}$，恶意用户则训练出恶意模型$L_m^{t+1}$，两者通过联邦平均得到攻击者后门模型。

方案：

构造攻击模型：

模型替换攻击model replacement attack：
攻击者试图用以下方程中的恶意模型$X$替换全局模型$G^{t+1}$

因为训练数据是独立同分布的，每个本地模型可能远离目前的全局模型。当全局模型收敛时，这些偏差开始抵消。
即${\sum }_{i=1}^{m-1}(L_i^{t+1}-G^t)\approx 0$，可通过以下方式解决它需要提交的模型：

对于一般的毒化攻击，是直接返回攻击模型X，而这里基本上返回的是X的$\gamma =n/\eta$倍。

逃避异常检测：

Constrain and scale 约束和缩放方法
在模型训练时的损失函数中加入一个异常检测项$L_{ano}$：
$L_{class}$获取正常任务和后门任务的准确度。
$L_{ano}$计算任意类型的异常检测。

Train-and-scale训练和缩放方法

我们可以通过一种十分简单的方法进行规避。攻击者通过训练后门模型直至收敛，通过改变参数$\gamma$来保持这个模型的权重保持在异常检测器允许的界限$S$以下：

实验评估：

Image classification 图像分类下:

数据集：CIFAR-10
模型：ResNet18
Baseline：简单的数据中毒攻击
Semantic backdoor：
选取三种自然特征作为后门触发器：绿色的汽车，带有赛车条纹的车，背景墙条纹的车。

图(a)是单次攻击：在-5到0时刻，攻击者不进行攻击，到0时刻立刻进行攻击，具有以下结果：

模型替换攻击在攻击之后，后门准确度立刻达到100%，然后下降，之后又上升。
有些后门会比其他后门更容易注入，比如“有条纹的墙”就比“绿色的车”后门效果更好。这可能是由于“绿色的车”和正常的良好数据的分布会更接近，因此很容易在迭代中被覆盖。
仅仅基于数据中毒的基线攻击并不能在一轮攻击中引入后门。
图(b)是连续攻击，控制参与者1%作为攻击者的模型替换攻击，就能实现与控制20%的参与者作为攻击者的数据中毒攻击具有相同高的后门准确性。

Word prediction词预测下：

数据集：Reddit
模型：LSTM
Baseline：简单的数据中毒攻击

图©是单一攻击，当词语预测后门涉及一个常见的词语作为触发器，选择一个不常见的词作为结尾，往往很快就会被遗忘，因为常见的触发句子更有可能出现在良性参与者的数据中，因此后门被覆盖了。而那些以常见词结尾、不常见的词作为触发器的语境，更容易成功，后门准确率没有明显的下降。

图(d)是连续攻击，控制0.01%的参与者作为攻击者的模型攻击就能够达到和控制2.5%的参与者的数据中毒攻击相同好的效果。

总结：
说明了在联邦学习中容易受到攻击的两个原因。
本文提出一种新的攻击方式——model-poisoning攻击并通过对比试验，证明了此攻击方式比data-poisoning攻击效果要更好。
提出了两种躲避异常检测的防御措施。