【思路整理】How to Backdoor Federated Learning

How to Backdoor Federated Learning

对于整篇论文的理解，我打算通过以图片和公式进行贯穿

I、INTRODUCTION

首先，对于图1：

攻击概述。 攻击者会折衷一个或多个参与者，使用我们的新约束和规模技术在后门数据上训练模型，然后提交结果模型。 联邦平均后，全局模型将替换为攻击者的后门模型。

这是文中对于图片的描述，这里将涉及到第四节攻击概述里面构建攻击模型的内容，其实我们也可以很直观的看见由服务器下发全局模型$G^t$到各个用户，其中分为良性用户和恶意用户。良性用户根据自己私有数据进行本地训练模型即$L_a^{t+1}$,恶意用户则训练出恶意模型${\widetilde{L_m}}^{t+1}$，两者通过联邦平均得到攻击者后门模型。

II、RELATED WORK

算法1：参与者用于培训模型的本地培训，等价于公式1里的$L_i^{t+1}$

III、FEDERATED LEARNING

公式里的$G^{t+1}$就是t+1时刻训练出来的全局模型。其中$\eta$=$\frac{n}{m}$,那么全局模型将会被当地的一个本地模型替代。

IV、ATTACK OVERVIEW

这部分涉及的东西比较多，其中威胁模型里面又细分攻击者、攻击目标、后门和对抗样本。这部分我可能没太看懂，应该是这三个部分的简介内容。

接下来是构建模型：

简单方法：
攻击者可以简单地在后门攻击的输入上训练其模型。按照[13]，每个培训批次应包括正确标记的输入和被添加后门的输入的混合，以帮助模型学会识别差异。攻击者还可以改变本地学习速率和本地epoch数，以最大化对backdoored数据的过拟合。

缺点：模型平均抵消了大多数backdoored模型的贡献，而全局模型很快就忘记了后门。

我的理解是，简单方法就是没有改变原本良性的模型，只是通过恶意数据来训练这个模型，达到能够对于某一特征的良性数据识别有误或者是其它目标。

模型替换：

这里出现了两个公式，其中模型X就是攻击者想要的模型，可以当做已知，然后通过逆推得到（3）这个公式，得到恶意用户要输入的恶意本地模型${\widetilde{L_m}}^{t+1}$.

算法2：我们的约束和缩放方法。帮助X型在主后门都实现了高精度任务，我们使用多任务学习[20]和降低学习速度，防止忘记后门。

其实我觉得约束和缩放和通过改变一系列参数来限制恶意模型不被检测出来。

训练和缩放：

攻击者训练后门模型直到它收敛然后将模型权重按γ放大到界S异常探测器允许。其实应该就是不断的测试最优的$\gamma$。$\gamma$=$\frac{n}{\eta }$后文也有提到$\gamma$=100的时候能实现很好的精确度。

训练和缩放是通过改变权重来避免被异常检测器检测到。

V、EXPERIMENTS

A、图像分类：

在图像分类里想实现的功能后门攻击其实就是例如把绿色的车错误判别成鸟，其它功能不发生改变。

单词预测这里涉及到两个损失函数，我的愚见是，对于第一个损失函数为什么要计算全部呢，后一个只计算一个单词的损失函数呢。因为对于a图，每次输入一个单词就要预测下一个单词，所以要计算全部单词损失；图b则是对于攻击者来说，想要用自己选择的输入单词作为替换到那，所以只考虑最后单词这个因素。

C、实验步骤

D、实验分析：

图4：是单次攻击和多次攻击的实验结果图。其中a、c相关；b、d相关。

a、c图我们来分析下：
对于图a，-5到0时刻，攻击者是没有攻击的，到0时刻开始攻击，后门效果立刻达到100%精确度，然后下降，下降的原因是次数少的后门攻击容易遗忘。为什么又上升了呢，文中这样解释（比较官方）：

CIFAR模型的后门精度在引入后门后不久急剧下降，然后又进一步提高，这是造成这种行为的两个原因。首先，客观景观不是凸的。第二，攻击者使用低收益率来找到一个后门与当前全局模型接近的模型。因此。大多数直接围绕攻击者模型的模型不包含后门。在随后的几轮中，良性参与解决方案由于学习率较高而远离攻击者模型，全局模型的后门精度下降。然而，由于全局模型已经朝着后门的方向移动，因此它再次收敛到包含后门的模型。因此，攻击方面临着一个权衡。使用更高的学习率可防止后门准确性的初始下降，但可能会产生一个与当前全球模型大不相同且易于检测的异常模型。

其实，我也没有十分理解。

图c:
词预测模型不受初始词的影响后门精准度下降。原因是单词嵌入占模型权重的94%，参与者只更新出现在其私有数据中的单词嵌入。因此，特别是在触发语句很少的情况下，关联的权重很少被更新，从而保持在攻击者发现的局部极值点上。

b、d图我们来分析下：
其实这两图都在拿数据中毒和后门攻击进行比较，突出后门攻击的有效性。

图5：可以看看文中讲解，讲的是像素后门。

图6：想表达：当后门攻击晚点攻击的时候精确度会达到更好的效果。

图7：这里其实就涉及到权重变化，其实可以看到当$\gamma$=100，后门效果已经达到很高了，同时范式更新也加快。

图8:增加多个后门，代价范式更新加快。但效果表现类似于单发用单一的后门攻击。

VI、DEFENSES

A、异常检测：
文中其实也提及了这个对于后门攻击没什么作用，并不能检测出来。可以通过训练和缩放技术逃避。约束和缩放也能让恶意模型不被检测出来。

B、拜占庭容忍梯度下降
这里我理解的不太好，相当于没怎么读懂。

C、 参与者级别的差分隐私
这里联邦学习会对用户隐私进行保护，例如通过加噪声，防止推理攻击。

文中这里是说到这里会对用户参数进行裁剪、和添加一些噪声都会限制攻击效果。使我们的攻击无效的低限幅边界和高噪声方差也大大降低了全局模型在其主要任务上的准确性。参与者级别的差异隐私可以降低攻击的有效性，但代价是降低模型在其主要任务上的性能。

接触机器学习较少，理解还不够到位，欢迎指导学习。