【论文笔记】Enhancing Adversarial Example Transferability with an Intermediate Level Attack

不做笔记的论文=没看。。。

Contribution

1.提出了一种新的方法Intermediate Level Attack(ILA)，该方法通过增加模型预先指定层上的干扰来增强黑盒对抗转移能力（在现有的攻击上进行fine tune）。并进行了全面的评估，表明该方法在多个数据集的多个模型上采用了最先进的方法。

2.在经验观察的指导下，引入一个程序，仅使用源模型来选择一个最大化迁移性的层，从而避免在参数优化过程中对传输模型进行评估。

3.解释了使用中间特征映射优化对抗样本有效果的原因。

Motivation/思路

1.不需原始对抗样本的方向是最佳迁移性的方向。只要这个方向比随机噪声强就OK。因此应该愿意牺牲一点攻击方向来换取增加norm，因为增加norm攻击性更强，但norm和攻击方向之间是需要平衡的，方向偏多了即使norm增加也不行。自然想到最大化原始对抗样本的投影。

但为啥方向和norm之间需要平衡？？他们是此消彼长的关系吗？

2.虽然1想得很美，但纯粹增加norm会导致图像的感知性降低（通俗理解不知道对不对，norm过度增加的话就不知道原图是啥样的了）而本质上这俩又是联系在一起的。但如果我们检查中间特征映射，增加中间特征空间的norm，可能就不会改变图像的可感知性了。

Method

先上ILA的整体框架。其中F用的layer和Loss下面细说。

ILAP vs ILAF

分别对应Intermediate Level Attack Projection Loss(ILAP) 和Intermediate Level Attack Flexible Loss（ILAF）。

作者将$△y_l^{\prime }$视为来自原对抗样本的对抗方向指引，并希望$△y_l^{\prime \prime }$可以在延续$△y_l^{\prime }$方向的同时最大化扰动的norm。由此得出可以最大化$△y_l^{\prime \prime }$在$△y_l^{\prime }$方向上的投影。因为是最大化，所以在此不考虑常数项，直接上点乘，因此ILAP如下：

关于投影：比如两个向量的名称分别是A、B。那么计算向量A在另外一个向量B上的投影就是：用向量a的模乘以两个向量所成的角的余弦值|A|*cos<A,B>。投影是数量，可正负。向量a与向量b乘积的几何意义：数量积a·b等与a的长度｜a｜与b在a的方向上的投影｜b｜cos∮的乘积。所以这里说忽略常数直接上点乘合理。

而ILAF算是ILAP的灵活版本。先看公式：
后面部分保留了原始方向，但前面通过权重$\alpha$来权衡两者（虽然权重加在norm上，但实则有此消彼长）。主要是考虑如果$x^{\prime }$不是优化的最佳方向时的情况。

对于ILAP来说，超参仅为layer $l$.而ILAF则还有权重$\alpha$。

Experiment

ILAP Targeted at Different L Values

首先探究到底是哪层效果最好。l的定义举例说明：l = 0 is the last layer of the first block.baseline attack为I-FGSM效果如下：
可以看出，layer为4时效果最好。这里作者也给出了如何用一个模型判断多个模型该用哪一层进行攻击：

运用来判断，巅峰出现最晚（应该是大幅下降之前的巅峰？）的层为迁移性最好的层。

ILAP vs. ILAF

ILAF效果好一点，但需要注意的是，不同模型需对应不同的$\alpha$，挺麻烦的。

ILAP on ImageNet

更换了数据集后主要提高了I-FGSM和MI-FGSM的性能。

Explaining the Effectiveness of Intermediate Layer Emphasis

在本篇里作者主要是探究一下为何ILAP的表现会因为layer不同而不同。从两个方面：原始扰动方向和最佳迁移方向的角度和模型决策边界的线性性。

Angle between the Best Transfer Direction and the Original Perturbation

首先先介绍他新引入的概念：

这里感觉槽点满满。。这应该是一个实验数据，但作者并没有给出实验过程。。。

然后比较了I-FGSM和BTD在每一层输出的特征图，发现随着层数的升高，相似度也在增加。

Linearity of Decision Boundary

由于本人这方面知识严重匮乏，故复制一段百度翻译在这。。。

**如果我们将I-FGSM视为跨越决策边界的优化，我们可以将ILAP解释为跨越决策边界的优化，该决策边界近似于与I-FGSM扰动垂直的超平面。**随着层索引的增加，从特征空间到源模型最终输出的函数趋于线性（早期层和最终层之间的非线性比后期层和最终层之间的非线性更多）。事实上，我们注意到，在最后一层，决策边界是完全线性的。因此，我们对决策边界的线性逼近变得更加精确，这是我们在选择后续层时提高ILAP性能的一个因素。

我们将“真实决策边界”定义为大量CNN的多数票集合。注意，对于传输，我们关心的不是源模型决策边界的逼近程度，而是真实决策边界的逼近程度。在大多数特征表示中，我们期望真实的决策边界更为线性，因为集合减少了方差。

然而，请注意，至少在最后一层中，由于源模型决策边界是完全线性的，因此真正的决策边界不能更线性，并且可能更线性。我们假设这种翻转是导致我们在最后一层表现更差的原因。在这些层中，源模型决策边界比真实决策边界更为线性，因此我们的近似性能较差。我们通过攻击在最后一层之前增加了3个线性层的ResNet18的两个变体来验证这一假设：一个变体在添加层（var1）之后没有激活，另一个变体在（var2）之后没有激活。如图8所示，在第二个变体中，ILAP性能下降较少。还要注意的是，这些非线性也会导致网络早期的ILAP性能变差。因此，我们得出结论，最后几层的极端线性与ILAP表现不佳有关。