Smooth Adversarial Training

最新推荐文章于 2024-06-09 09:50:39 发布
最新推荐文章于 2024-06-09 09:50:39 发布
阅读量733 收藏 2
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013775900/article/details/107529839
版权

Smooth Adversarial Training

写了AdvProp的这些人又提了一个SAT

写AdvProp主要是朝着提升accuracy的目标去的，说是比AT更好

写SAT则以提升robustness的目标，AT的方法不够smooth，SAT在AT的基础上进行改进，提了准确率又提鲁棒性，amazing

 

摘要

一般认为网络不能同时准确又鲁棒，获得鲁棒性就意味着失去精度。

也有一般认为除非让网络变大，否则网络架构元素在提高对抗性鲁棒性方面没有多大影响。？

我们的关键发现是广泛使用的ReLU激活函数极大地减弱了对抗训练因为它不平滑smooth的本质。

 

因此，我们提出了smooth adversarial training SAT，也就是把ReLU换成了它平滑的近似

让对抗训练可以发现更难的对抗样本 计算更好的梯度更新

和标准的对抗训练相比，SAT没有精度的丢失也不用增加额外的计算。for free

1 介绍

广泛认为，准确率和鲁棒性之间的trade off是不可避免的，除非额外的计算budgets被引入来增加网络的能力。

梯度掩码防御的历史启发了我们去重新思考梯度质量和对抗鲁棒性的关系。

在对抗训练的时候，相比于标准训练，梯度被应用的更加频繁，使用梯度去更新网络参数，又需要梯度去生成对抗训练样本。

提出：广泛使用的ReLU激活函数极大地减弱了对抗训练因为它不平滑smooth的本质。smooth adversarial training SAT，也就是把ReLU换成了它平滑的近似，来改善梯度的质量。

有了平滑的激活函数，SAT可以使用更难的对抗训练样本，并且计算更好的梯度更新用于网络优化。

for free ：没有精度的丢失也不用增加额外的计算

2 相关工作

对抗训练：no free lunch in adversarial robustness 然而本文 for free

梯度掩码

3 ReLU Weakens Adversarial Training

我们在此进行了一系列的控制实验来研究ReLU是如何减弱的，以及它的平滑近似是如何加强对抗训练的。

in the backward pass of gradient 在梯度的回传的过程中

3.1 对抗训练

包含了两个步骤：1内部的max 2.外部的min

选择resnet-50作为backbone，应用PGD攻击来生成对抗样本。

尤其是使用了最廉价的版本的PGD，single-step PGD（PGD-1）来降低训练成本

最大的per-pixel的改变\epsilon=4 step size \beta= 4

当评价对抗鲁棒性时，我们测量了模型的top-1准确率对抗200-step的PGD，\epsilon=4 并且 \beta= 1

200 attack 迭代是足够让PGD攻击覆盖。

3.2 How Gradient Quality Affects Adversarial Training?

ReLU在输入为0的时候不平滑，有一个突然的改变，这严重降低了梯度的质量。

我们认为这严重伤害了训练过程尤其是进行对抗训练的时候，这是因为，相比于标准训练只计算梯度用于更新网络参数\theta，对抗训练需要额外的计算来用于内部的max的步骤去制造扰动\epsilon。

首先提出了一个平滑的近似，叫做Parametric Softplus

求导

为了更好的近似，设置\alpha = 10

图1所示

为了清楚地衡量效果，我们只在反向传播时用方程（2）代替ReLU，而不改变前向传播。

Improving gradient quality for the adversarial attacker.

第二行 证明生成了更强的对抗攻击样本

Improving gradient quality for network parameter updates.

第三行 更好的鲁棒性 更好的精度

Improving gradient quality for both the adversarial attacker and network parameter updates.

在两个step的反向传播时一起replace

只提了0.1%精度 

我们推测，这主要是由于计算更好的梯度更新（提高精度）对精度的正面影响稍微超过了在本实验中创建更难的训练样本（损害精度）对精度的负面影响。

（突然需要玄学操作）

控制变量法结果

3.3 Can Other Training Enhancements Remedy ReLU’s Gradient Issue?

其他的训练增强能补偿ReLU的梯度问题吗？

更多的攻击迭代次数 可以产生更强的对抗攻击样本 需要更多计算量 可以补偿ReLU在内部步骤的问题

训练更长的时间 不能弥补外部步骤

结论：我们发现关键是ReLU的poor 梯度

以上第三章通过控制变量实验说明了问题是ReLU的梯度质量。

下面开始正式开始探索SAT。

4 Smooth Adversarial Training

4.1 Adversarial Training with Smooth Activation Functions

实验表明前向后向都应用平滑的激活函数鲁棒性能够进一步提升

4.2 Ruling Out the Effect From x < 0

除了平滑，以上函数在x<0区域有非0的响应，这也有可能影响对抗训练。

为了排除这个因素，我们提出SmoothReLU

只修改x>=0的部分

\alpha是可学习的变量，约束为正

当\alpha趋近于0的时候，SmoothReLU收敛到ReLU

\alpha被初始化为一个足够大的值，例如400，来避免在训练初始阶段梯度消失问题

依然是图3，实验证明了函数平滑的的重要性，排除了x<0有响应的影响。

4.3 Case Study: Stabilizing Adversarial Training with ELU using CELU

一个辅助实验，继续说明smooth的重要

5 Exploring the Limits of Smooth Adversarial Training

 

默认使用Swish作为激活函数，从网络的深度，宽度，图像分辨率三个方面增加ResNet的性能。

2-5行 更深 更宽的网络表现更好

6-7行 更大的分辨率表现更好

加在一起更好。

这些手段对于标准对抗训练也有提升，但是没有单靠SAT提升的多。

5.2 SAT with EfficientNet

在EfficientNet上效果也很好

超越state of art

讨论

最后，我们强调了在大型网络中，对抗训练模型和标准训练模型之间的精度差距大大缩小。

例如，通过上面的训练设置（增强），EfficientNet-L1在标准训练中达到84.1%的准确率，而在SAT中这一准确率略微下降到82.2%（-1.9%）。请注意，这个差距远远小于ResNet-50的7.1%（标准训练为76.8%，SAT为69.7%）

6 结论

SAT在不牺牲标准精度或增加计算成本的情况下提高了对抗鲁棒性。借助EfficientNet-L1，SAT报告了ImageNet上最先进的对抗性鲁棒性，其在精确度和鲁棒性方面大大优于现有技术，为9.5%和11.6%。

总之，论证了激活函数对于鲁棒性的影响。

因为之前一直是盯着acc去做网络结构的优化，很多网络结构都没有论证对于鲁棒性的影响。

however，鲁棒性和准确率的博弈客观存在，SAT是在AT的基础上for free，只是减少了GAP。

在目前的研究情况下，还能继续去探索网络架构，去利用上对抗样本、失真样本，以增加准确率和鲁棒性为目标。

 

 

 

Letitia_xx
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Graph Adversarial Training：Dynamically Regularizing Based on Graph Structure.pdf
08-09
Adversarial Training (AT), a dynamic regularization technique, can resist the worst-case perturbations on input features and is a promising choice to improve model robustness and generalization....
AAAI 2021 | 近期必读对抗训练精选论文
AI_Conf的博客
01-21 1173
对抗训练（adversarial training）是增强神经网络鲁棒性的重要方式。在对抗训练的过程中，样本会被混合一些微小的扰动（改变很小，但是很可能造成误分类），然后使神经网络适应这种改变，从而对对抗样本具有鲁棒性。 在图像领域，采用对抗训练通常能提高鲁棒性，但是通常都会造成泛化性降低，也就是说，虽然对对抗样本的抵抗力提升了，但是有可能影响普通样本的分类能力。神奇的是，在语言模型领域却观察到不一致的结果——对抗训练既提高了鲁棒性也提高了泛化性。 1.论文名称：Amata: An Annealing M.
[论文理解]光滑对抗性训练Smooth Adversarial Training
bxdzyhx的博客
12-03 538
1.几个问题 1.1 基本信息 arVix 2020 1.2 做了什么 提出了平滑对抗性训练(standard adversarial traning, SAT) 1.3 实现方法 我们用SAT的平滑近似（一阶导数平滑）代替ReLU，由于平滑激活函数的允许鉴别器在对抗性训练中找到更难的对抗性示例，因此能计算出更好的梯度更新。 1.4 创新性 在没有额外计算开支和精度下降的情况下增强了对抗网络的鲁棒性。方法简单，效果还可以。只是论文中没有仔细阐释why it works. 2.数学部分 & 模型构建.
推荐开源项目：Adversarial Training 和可视化工具
gitblog_00050的博客
06-08 408
推荐开源项目：Adversarial Training 和可视化工具 项目地址:https://gitcode.com/ylsung/pytorch-adversarial-training 在这个日益依赖深度学习的时代，模型的鲁棒性成为了研究的焦点。为此，我们向您推荐一个基于PyTorch的开源项目——Adversarial Training and Visualization。该项目专注于在M...
论文笔记：Smooth Adversarial Training
weixin_42280069的博客
07-25 487
摘要 人们普遍认为网络不可能同时具有准确性和鲁棒性，获得鲁棒性意味着失去准确性。人们还普遍认为，除非使网络更大，否则网络架构元素在提高对抗的健壮性方面作用不大。在这里，我们提出证据，以挑战这些共同的信念，通过仔细研究对抗性训练。我们主要观察到的是，广泛使用的ReLU激活函数由于其非光滑性，显著削弱了对抗性训练。因此，我们提出平滑对抗训练(SAT)，其中我们用平滑逼近代替ReLU，以加强对抗训练。SAT中平滑激活函数的目的是让它在对抗性训练中找到更困难的对抗性例子和计算更好的梯度更新。与标准对抗性训练相比
损失函数的学习与选择
小小小麦昆的博客
01-09 1231
深度学习中，从简单的分类任务，到复杂的检测任务，姿态估计等任何任务，都必须包含一个函数的定义：损失函数。 直观意思就是，模型预测出来的东西和实际ground truth区别有多大，只要设置的损失函数符合二者之间差别越大损失函数越大，差别越小损失函数越小，就挺好 ...
ICLR 2023 | 环境标签平滑，一行代码提升对抗学习稳定性/泛化性
Paper weekly
02-02 705
©PaperWeekly 原创 ·作者 |张一帆单位 |中科院自动化所博士生研究方向 |计算机视觉Domain adaptation（DA: 域自适应），Domain generalization（DG: 域泛化）一直以来都是各大顶会的热门研究方向。DA 假设我们有有一个带标签的训练集（源域），这时候我们想让模型在另一个数据集上同样表现很好（目标域），利用目标域的无标签数据，提升模型在域间...
adversarial training-FreeAT_CSDN
qq_32925101的博客
12-17 2677
Adversarial Training for Free adversarial training for free, NeurIPS 2019 Introduction 首先是鲁棒性的定义：A robust classifier is one that correctly labels adversarially perturbed images. 其次是实现鲁棒性的方法： 检测并剔除对抗样本（detecting and rejecting Adv. Examp.） 然后是对抗训练的问题， 首
深入理解深度学习——正则化（Regularization）：对抗训练（Adversarial Training）
冯·诺依曼
06-05 1万+
然而，它们在正则化的背景下很有意思，因为我们可以通过对抗训练（Adversarial Training）减少原有独立同分布的测试集的错误率——在对抗扰动的训练集样本上训练网络。不幸的是，如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。驱动这种方法的假设是，不同的类通常位于分离的流形上，并且小扰动不会使数据点从一个类的流形跳到另一个类的流形上。不使用真正的标签，而是由训练好的模型提供标签产生的对抗样本被称为虚拟对抗样本（Virtual Adversarial Example）。
Domain-Adversarial-Training-of-Neural-Networks:实施神经网络的领域高级训练
05-09
我的代码首先受到启发https://github.com/CuthbertCai/pytorch_DANN神经网络领域专家训练https://arxiv.org/pdf/1505.07818.pdfimplement Domain-Adversarial Training of Neural Networks by pytorch数据集mnist ...
Improving Neural Language Modeling via Adversarial Training 引入噪声
08-03
【神经语言模型对抗训练简介】 在机器学习领域，统计语言建模是一项基础任务，它广泛应用于自动语音识别、机器翻译和计算机视觉等多个领域。近年来，深度神经网络模型，特别是基于循环神经网络（RNN）的模型，已经...
2019-清华-Batch Virtual Adversarial Training for Graph Convolution
08-04
Batch Virtual Adversarial Training for Graph Convolutional Networks Batch Virtual Adversarial Training（BVAT）是一种针对图卷积神经网络（GCNs）的regularization方法，旨在解决GCNs在处理图结构数据时忽视...
论文Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training
03-05
不同机构或者肿瘤程度导致数据集的domain shift问题: 论文Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training,本论文提出方案来缓解这个问题.
对抗性训练（Adversarial training）
rocsoft
09-03 4053
对抗性训练最大最小化公式： min⁡θE(x,y)∼D[max⁡Δx∈ΩL(x+Δx,y;θ)] \min_{\theta}\mathbb{E}_{(x,y)\sim\mathcal{D}}\left[\max_{\Delta x\in\Omega}L(x+\Delta x, y;\theta)\right] θmin​E(x,y)∼D​[Δx∈Ωmax​L(x+Δx,y;θ)] D\mathcal{D}D表示训练数据，xxx表示输入，yyy表示标签，θ\thetaθ表示模型参数，L(⋅)L(·)L(⋅)表
Adversarial Training
weixin_30920513的博客
07-31 2129
原于2018年1月在实验室组会上做的分享，今天分享给大家，希望对大家科研有所帮助。 今天给大家分享一下对抗训练（Adversarial Training，AT）。 为何要选择这个主题呢？ 我们从上图的Attention的搜索热度可以看出，Attention在出现后，不断被人们所重视，基本上现在的顶会论文都离不开Attention。 同样，AT的搜索热度也持续高涨，因此，我...
可解释的对抗训练网络模型：Interpreting Adversarially Trained Convolutional Neural Networks-ICML 2019
xunbaobao123的博客
03-30 2994
可解释的对抗训练网络：Interpreting Adversarially Trained Convolutional Neural Networks-ICML 2019 前言 最近在考虑做对抗样本可解释性方面的研究，之前没有接触过。今天要分享的这篇文章发表在ICML 2019上，我在实验室的组会中也进行了分享，因此接下来，将通过文字结合PPT的形式将内容分享给大家。 一.背景 在...
Virtual Adversarial Training解读
qq_33221657的博客
03-29 3483
对抗训练(Adversarial Training)和虚拟对抗训练(Virtual Adversarial Training)，都可以作为正则化方法，来增强机器学习模型的鲁棒性。 一.对抗训练 GAN之父Ian Goodfellow在15年的ICLR中 第一次提出了对抗训练这个概念，简而言之，就是在原始输入样本 x 上加一个扰动 radv ，得到对抗样本后，用其进行训练。也就是说，问题可以被抽象成...
对抗学习概念、基本思想、方法综述
热门推荐
Pain is inevitable but suffering is optional.
04-16 2万+
对抗学习的基本概念 要认识对抗训练，首先要了解 “对抗样本”，它首先出现在论文 Intriguing properties of neural networks 之中。简单来说，它是指对于人类来说 “看起来” 几乎一样，但对于模型来说预测结果却完全不一样的样本，比如下面的经典例子（一只熊猫加了点扰动就被识别成了长臂猿） 对抗学习的基本思想 Min-Max公式： max函数指的是，我们要找到一组在样本空间内、使Loss最大的的对抗样本（该对抗样本由原样本x和经过某种手段得到的扰动项r_adv共同组合得到
推荐开源项目：Free Adversarial Training
最新发布
gitblog_00010的博客
06-09 229
推荐开源项目：Free Adversarial Training 项目地址:https://gitcode.com/ashafahi/free_adv_train 在深度学习领域，对抗性训练是提高模型鲁棒性的重要手段之一。而Free Adversarial Training项目，则为这一领域带来了革命性的突破，它通过高效的策略，实现了与PGD（Projected Gradient Descent）...
adversarial training
03-16
对抗训练是一种深度学习技术，旨在提高模型的鲁棒性。该技术通过向模型输入经过修改的对抗样本来训练模型，以使其能够更好地处理噪声和干扰。对抗训练可以应用于各种深度学习任务，如图像分类、语音识别和自然语言处理等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值