SGM

最新推荐文章于 2023-09-12 11:07:37 发布

哦啦啦啊哦哦

最新推荐文章于 2023-09-12 11:07:37 发布

阅读量1.3k

点赞数

文章标签：机器学习

本文链接：https://blog.csdn.net/qq_43108660/article/details/115726760

版权

Skip Connections Matter On the Transferability of Adversarial Examples Generated with ResNet

一、摘要和简介
二、模型结构
三、实验
四、总结
反思

跳过连接问题:关于RESNETS生成的对抗样本的可迁移性

一、摘要和简介

1.摘要

跳跃连接（skip connections）是当前最先进的深度神经网络(DNNs)的一个重要组成部分，如ResNet、WideResNet、DenseNet和ResNeXt。尽管它们在构建更深、更强大的DNNs取得了巨大的成功，但作者发现了其的安全弱点，可以更容易地针对那些使用跳跃连接的网络生成可转移性强的对抗样本。
具体来说，在类ResNet(具有跳跃连接)神经网络中，梯度可以通过跳跃连接或残差模块反向传播。作者根据衰减因子，从跳跃连接中使用更多的梯度，来获得可转移性强的对抗样本。
作者提出跳跃梯度法(SGM)。针对最先进的DNN进行全面的转移攻击，使用SGM可以在几乎所有情况下极大地提高对抗样本的可转移性。
此外，SGM可以很容易地与现有的黑盒攻击技术相结合，并获得对最先进的可转移性方法的高度改进。这不仅激发了对DNNs体系结构脆弱性的新研究，也为安全DNN体系结构的设计带来了进一步的挑战。

2.贡献

1.我们发现了类似ResNet神经网络中跳跃连接的一个令人惊讶的特性，即它们允许容易地生成高度可转移的对抗性例子。
2.我们建议使用跳跃梯度法(SGM)使用更多跳跃连接中的梯度来创建对抗样本。在梯度上使用单个衰减因子，SGM是一种吸引人的简单和通用的技术，可以与现有的任何基于梯度的攻击方法结合使用。
3.我们针对10个最先进的DNN提供了来自不同源模型的转移攻击实验，表明SGM可以极大地提高精心制作的对抗样本的可转移性。当与现有的转移技术相结合时，SGM大幅度提高了最先进攻击样本的可转移性。

3.背景知识

白盒攻击假定攻击者可以完全访问他们正在攻击的神经网络模型的结构和参数，包括训练数据，模型结构，超参数情况，层的数目，激活函数，模型权重等。黑盒攻击假定攻击者不能访问他们正在攻击的神经网络模型的结构和参数，只知道模型的输出。白盒攻击样本可以通过一些方法转换成黑盒攻击的方式。

单步攻击，只需优化一次即可生成对抗样本。迭代攻击，迭代的进行优化来生成对抗样本。比单步攻击效果更好，但花费更多的计算时间。

二、模型结构

1.发现问题

在这里插入图片描述
在ResNet-18模型上进行梯度传播实验，考虑上面左图中模型中的三个skip connection结构，实验中人为选择此部分模型中梯度流的传播方向来研究skip connection结构的影响。
左图:imagenet训练的ResNet-18的最后3个跳跃连接(绿线)和剩余模块(黑框)的示意图。
右图：（BIM针对ResNet-18生成的对抗样本攻击VGG19的成功率）利用跳跃连接(向上)或残差模块(向左)在每个连接点的梯度制作的对抗样本的攻击成功率(白盒/黑盒)。三个反向传播路径示例以不同的颜色显示，绿色路径跳过最后两个残差模块攻击成功率最高，而红色路径通过所有三个残差模块，攻击成功率最低。
可以发现更多地使用来自跳过连接而不是残差模块的梯度，并利用衰减因子来减小来自残差模块的梯度。对梯度流的这种简单调整可以产生可转移性强的对抗性例子。并且网络中的跳跃连接越多，这样的攻击样本就转移性越强。

2.带跳跃连接的梯度分解

考虑三个连续的残差块（残差模型+相应的skip connection），Zi+1= Zi+fi+1(Zi)，其中令 Z0为输入，Z3为输出，那么我们可以迭代得到如下公式：

在这里插入图片描述
关于损失函数的相应梯度，根据微积分中的链式法则，损失函数相对于输入Z0的梯度可以分解为：

扩展到L个残差块，并且引入衰减参数γ∈(0,1]，计算关于模型输入x的梯度公式如下：

梯度可以从第L个剩余块分解到第(l+1)个剩余块。

3.跳过梯度法(SGM)

针对输入值Z0，the “skipped”梯度：
在这里插入图片描述
定义了新的梯度计算方法后就可以结合之前基于梯度的对抗样本生成算法，例如结合 PGD 算法：

SGM是一种通用技术，可以很容易地在任何具有跳跃连接的神经网络上实现。在反向传播过程中，SGM只要通过一个剩余模块，就简单地将衰减参数乘以梯度。因此，SGM不需要任何计算开销，即使在密集连接的网络(如DenseNets)上也能高效工作。

三、实验

在这里插入图片描述
PGD及其SGM版本在不同的源模型上针对Inception-V3目标模型制作的黑盒攻击(非目标)的成功率(% 5次随机运行的标准)。

RN18/34是具有正常残差块的ResNet，
RN50/101/152是具有“瓶颈”残差块的ResNet，
DN121/169/201是密集连接的ResNet。

当网络中有更多的跳跃连接时(例如，RN34 > RN18、RN152 > RN101 > RN50和DN201 > DN169 > DN121)，或者从ResNet到DenseNets(例如，DN121/169/201 > RN18/34和DN121/169/201 > RN50/101/152)，抗性例子变得更容易转移。

在这里插入图片描述
一步可转移性:黑盒攻击的成功率，用不同的方法在2个源模型上对7个不安全的目标模型进行的。

在这里插入图片描述
针对3个不安全的目标模型:VGG19(左)、SE154(中)和IncV3(右)，在8个源模型上通过不同攻击方法制作的黑盒攻击的攻击成功率。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210415154712772.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMTA4NjYw,size_16,color_FFFFFF,t_70) 多步可转移性:黑盒攻击的成功率，黑盒攻击是用不同的方法在2个源模型上对7个不安全的目标模型进行的。

在这里插入图片描述
结合现有方法:对7个不安全的目标模型在源模型DN201上进行攻击的成功率。

在这里插入图片描述
针对安全模型的可转移性:针对3个安全模型在RN152和DN201源模型上制作的多步攻击的成功率

在这里插入图片描述
参数调整:10步SGM用变化的衰变参数γ∈0.1，1.0精心制作的黑盒攻击的成功率。实线和虚线曲线分别代表ResNet和DenseNet源模型上的结果。

在这里插入图片描述

基于集成的攻击的多步可转移性:在3个源模型(例如RN34、RN152和DN201)的集成上，针对7个不安全的目标模型，通过不同方法制作的多步攻击的成功率。

在这里插入图片描述
针对安全模型的基于集合的攻击的可转移性:在3个源模型(例如RN34、RN152和DN201)的集合上制作的黑盒攻击的成功率。

四、总结

无论是白盒攻击还是黑盒攻击，是目标攻击还是替身攻击。在考虑增强对抗攻击的可迁移性的思路上，大多数模型都是将整个网络看成是一个整体，却忽略了网络内部的体系结构特征。本文主要考虑了网络中的一个部分，更加具有针对性的攻击了他的弱点。

由于考虑的是一个模块，那么在针对其他使用跳跃连接模块的攻击算法都是可以采用SGM进行的。

跳跃连接的高对抗性传递性是由于它们暴露了额外的低级信息，这些信息在不同的DNNs之间更容易传递。本文的研究结果不仅提醒了敌对研究领域的研究人员对数字网络体系结构脆弱性的关注，也为安全DNN体系结构设计提出了新的挑战。

反思

以上就是我对于SGM的一些看法，其实这个方法的重点只是一个简单的衰减系数，在生成对抗样本的时候，在现有的攻击方法中添加了一个系数，由此可以针对跳跃连接进行攻击。衰减系数是小于1的正数，它可以帮助我们更多的使用跳跃连接的梯度，而不是残差模块的梯度，这样的方法能够让跳跃连接处暴露出的问题更好的被我们所利用。
无论是一步或者是多步迁移，是集成学习还是单个模型，只要源模型中存在着跳跃梯度，那么SGM算法就可以使对抗样本迁移性变的更强。

一些实验部分我写的不是特别清楚，可以参考这里。
https://blog.csdn.net/Clarehehe/article/details/108209706

哦啦啦啊哦哦

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
SGM

Skip Connections Matter On the Transferability of Adversarial Examples Generated with ResNet一、摘要和简介1.摘要2.贡献3.背景知识二、模型结构1.发现问题2.带跳跃连接的梯度分解3.跳过梯度法(SGM)三、实验![在这里插入图片描述](https://img-blog.csdnimg.cn/20210415154533483.png)四、总结反思跳过连接问题:关于RESNETS生成的对抗样本的可迁移性一、
复制链接

扫一扫