[论文理解]光滑对抗性训练Smooth Adversarial Training

最新推荐文章于 2024-06-08 10:02:53 发布
最新推荐文章于 2024-06-08 10:02:53 发布
阅读量548 收藏 1
点赞数
分类专栏： 论文阅读 对抗性网络 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bxdzyhx/article/details/110529382
版权
该论文提出了一种平滑对抗性训练方法（SAT），使用平滑激活函数（如Parametric Softplus）替代ReLU，以增强神经网络在对抗性样本上的鲁棒性，同时保持准确性。通过实验表明，这种方法在不增加计算成本的情况下提高了网络的防御能力，但论文未深入解释其工作原理。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.几个问题

1.1 基本信息

arVix 2020

1.2 做了什么

提出了平滑对抗性训练(standard adversarial traning, SAT)

1.3 实现方法

我们用SAT的平滑近似（一阶导数平滑）代替ReLU，由于平滑激活函数的允许鉴别器在对抗性训练中找到更难的对抗性示例，因此能计算出更好的梯度更新。

1.4 创新性

在没有额外计算开支和精度下降的情况下增强了对抗网络的鲁棒性。方法简单，效果还可以。只是论文中没有仔细阐释why it works.

2.数学部分 & 模型构建

2.1 常识：什么是对抗性训练

卷积神经网络很容易受到对抗例子的攻击，这些例子是通过在干净的输入中加入小扰动来计算的。对抗性训练是提高网络抵御攻击能力最有效的方法之一。之前的对抗性训练方法多多少少会损失对正确输入识别的准确率。人们普遍认为，在计算量一定的情况下，鲁棒性和准确度是互相矛盾的目标。

2.2 对抗性训练的目标

在这里插入图片描述
其中 D D D是潜在的数据分布， L L L是损失函数， θ \theta θ是网络参数， x x x是带有真实标签 y y y的数据， ε \varepsilon

最低0.47元/天 解锁文章
不想待在银河系
关注
专栏目录
【经典论文解读】YOLOv4 目标检测
黎国溥
08-14 7396
前言 YOLO是一种目标检测方法，它的输入是整张图片，输出是n个物体的检测信息，可以识别出图中的物体的类别和位置。YOLOv4是在YOLOv3算法的基础上增加了很多实用的技巧，使得它的速度与精度都得到了极大的提升。 YOLOv4版本设计思路如下： 输入端：在模型训练阶段，使用了Mosaic数据增强、cmBN跨小批量标准化、SAT自对抗训练； BackBone层：也称主干网络，使用CSPDarknet53网络提取特征；同时使用Mish激活函数、Dropblock正则化；CSP 跨阶段部分连接。 N.
论文阅读《No bot expects the DeepCAPTCHA》
认识你自己
03-31 4565
论文阅读《No bot expects the DeepCAPTCHA 》
Pytorch-Adversarial-Training-CIFAR：此存储库为CIFAR-10上的对抗训练方法提供了简单的PyTorch实现
02-20
CIFAR-10的Pytorch对抗训练 该存储库为CIFAR-10上的对抗训练方法提供了简单的PyTorch实现。 该存储库显示的精度与原始论文中的精度相似。 如果您对此存储库有疑问，请给我发送电子邮件（ ）或提出问题。 实验设定 此存储库中使用的基本实验设置遵循使用的设置。 数据集：CIFAR-10（10个类） 攻击方式：PGD攻击 Epsilon大小： L无限边界为0.0314 Epsilon大小：绑定L2时为0.25（用于攻击）或0.5（用于训练） 培训批次大小：128 重量衰减：0.0002 动量：0.9 学习率调整 0.1代表时期[0，100） 纪元0.01 [100，150） 历时0.001 [150，200） 该存储库中使用的ResNet-18体系结构比Madry Laboratory小，但性能相似。 训练方法 1.基本训练 基本训练方法采用He
Smooth Adversarial Training
u013775900的博客
08-10 743
Smooth Adversarial Training 写了AdvProp的这些人又提了一个SAT 写AdvProp主要是朝着提升accuracy的目标去的，说是比AT更好 写SAT则以提升robustness的目标，不是AT的方法不好，是不够smooth，提了准确率又提鲁棒性，amazing 摘要 一般认为网络不能同时准确又鲁棒，获得鲁棒性就意味着失去精度。 也有一般认为除非让网络变大，否则网络架构元素在提高对抗性鲁棒性方面没有多大影响。？ 我们的关键发现是广泛使用的ReLU激活函数极.
论文笔记：Smooth Adversarial Training
weixin_42280069的博客
07-25 498
摘要 人们普遍认为网络不可能同时具有准确性和鲁棒性，获得鲁棒性意味着失去准确性。人们还普遍认为，除非使网络更大，否则网络架构元素在提高对抗的健壮性方面作用不大。在这里，我们提出证据，以挑战这些共同的信念，通过仔细研究对抗性训练。我们主要观察到的是，广泛使用的ReLU激活函数由于其非光滑性，显著削弱了对抗性训练。因此，我们提出平滑对抗训练(SAT)，其中我们用平滑逼近代替ReLU，以加强对抗训练。SAT中平滑激活函数的目的是让它在对抗性训练中找到更困难的对抗性例子和计算更好的梯度更新。与标准对抗性训练相比
Adversarial Training
weixin_30920513的博客
07-31 2136
原于2018年1月在实验室组会上做的分享，今天分享给大家，希望对大家科研有所帮助。 今天给大家分享一下对抗训练（Adversarial Training，AT）。 为何要选择这个主题呢？ 我们从上图的Attention的搜索热度可以看出，Attention在出现后，不断被人们所重视，基本上现在的顶会论文都离不开Attention。 同样，AT的搜索热度也持续高涨，因此，我...
对抗性训练（Adversarial training）
rocsoft
09-03 4114
对抗性训练最大最小化公式： min⁡θE(x,y)∼D[max⁡Δx∈ΩL(x+Δx,y;θ)] \min_{\theta}\mathbb{E}_{(x,y)\sim\mathcal{D}}\left[\max_{\Delta x\in\Omega}L(x+\Delta x, y;\theta)\right] θmin​E(x,y)∼D​[Δx∈Ωmax​L(x+Δx,y;θ)] D\mathcal{D}D表示训练数据，xxx表示输入，yyy表示标签，θ\thetaθ表示模型参数，L(⋅)L(·)L(⋅)表
交替采样和下降：加固不连续空间中的对抗性鲁棒性
To harden deep learning systems against such threats, ad-versarial training [31] is a commonly used strategy, ...tion based attacks, gradient based adversarial training hasbeen established as
视觉追踪论文：基于孪生、生成对抗和分割
WHITElg的博客
11-18 1290
这篇博客是五篇论文的翻译和大概理解： Fast Online Object Tracking and Segmentation: A Unifying Approach VITAL: VIsual Tracking via Adversarial Learning Learning Discriminative Model Prediction fo...
adv-sat:Sinkhorn对抗训练（SAT）
04-01
最优运输作为对抗攻击的防御 该存储库包含论文“ （ICPR'20）的参考源代码。 有关更多信息，请查看我们的论文，或。 我们提出了一种基于最新最优运输理论和鲁棒性新指标的鲁棒对抗训练方法。 要求 python == 3.6 + pytorch == 1.6.0 advertorch == 0.2.0 您可以运行conda env create -f environment.yml来安装所需的软件包。 用SAT训练模型 要在CIFAR10上使用SAT训练模型，请使用： python train.py \ --dataset ' cifar10 ' \ -n 60 \ --epoch_adv 0 \ --gpu 0 \ --arch ' resnet ' \ --sgd \ --sink \ --sink_eps 1 \
论文导读：Universal Adversarial Training
deephub
03-13 3366
在这篇论文中，作者提出了一种优化的方法来找到给定模型的通用对抗样本（首先在 Moosavi-Desfooli 等人 [1] 中引入）。作者还提出了一种低成本算法来增强模型对此类扰动的鲁棒性。 Universal Adversarial Perturbations (UAP) 很“便宜” - 单个噪声可用于导致模型错误标记大量图像。（与基于每个图像生成扰动的通常攻击不同。但这些更有效）。论文还发现 UAP 可以跨不同模型，因此它们也可以用于黑盒攻击设置，因此研究它们很重要。 UAP vs Adversari
adversarial training-FreeAT_CSDN
qq_32925101的博客
12-17 2714
Adversarial Training for Free adversarial training for free, NeurIPS 2019 Introduction 首先是鲁棒性的定义：A robust classifier is one that correctly labels adversarially perturbed images. 其次是实现鲁棒性的方法： 检测并剔除对抗样本（detecting and rejecting Adv. Examp.） 然后是对抗训练的问题， 首
[CVPR-21] MaxUp: Lightweight Adversarial Training with Data Augmentation
qq_40731332的博客
07-07 1032
MaxUp: Lightweight Adversarial Training with Data Augmentation Improves Neural Network Training 摘要 用随机扰动或转换（perturbations or transforms）方法生成一系列增强数据，从中挑选损失最大的用于更新网络； 相当于对随机扰动引入平滑或鲁棒性正则，以Gaussian扰动为例，MaxUp渐近等于使用损失的梯度范数，作为惩罚项，鼓励平滑。 可以用在图片分类、3D点云分类和adv
IMPROVING THE GENERALIZATION OF ADVERSARIAL TRAINING WITH DOMAIN ADAPTATION论文解读
kking_edc的博客
02-25 253
3 Adversarial training with domain adaptation In this work, instead of focusing on a better sampling strategy to obtain representative adversarial data from the adversarial domain, we are especially concerned with the problem of how to train with clean dat
深入理解深度学习——正则化（Regularization）：对抗训练（Adversarial Training）
热门推荐
冯·诺依曼
06-05 1万+
然而，它们在正则化的背景下很有意思，因为我们可以通过对抗训练（Adversarial Training）减少原有独立同分布的测试集的错误率——在对抗扰动的训练集样本上训练网络。不幸的是，如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。驱动这种方法的假设是，不同的类通常位于分离的流形上，并且小扰动不会使数据点从一个类的流形跳到另一个类的流形上。不使用真正的标签，而是由训练好的模型提供标签产生的对抗样本被称为虚拟对抗样本（Virtual Adversarial Example）。
CS231n Lecture 16 | Adversarial Examples and Adversarial Training
KunBB的博客
10-19 909
Lecture 16主要讲解了什么是对抗样本，为何会发生，它们是如何破坏机器学习系统的，如何防御它们，如何利用它们来提高机器学习性能，即使没有对抗样本。 文章目录What are adversarial examples?Why do they happen?How can they be used to compromise machine learning systems?What are t...
推荐开源项目：Adversarial Training 和可视化工具
最新发布
gitblog_00050的博客
06-08 417
推荐开源项目：Adversarial Training 和可视化工具 项目地址:https://gitcode.com/ylsung/pytorch-adversarial-training 在这个日益依赖深度学习的时代，模型的鲁棒性成为了研究的焦点。为此，我们向您推荐一个基于PyTorch的开源项目——Adversarial Training and Visualization。该项目专注于在M...
Virtual Adversarial Training解读
qq_33221657的博客
03-29 3536
对抗训练(Adversarial Training)和虚拟对抗训练(Virtual Adversarial Training)，都可以作为正则化方法，来增强机器学习模型的鲁棒性。 一.对抗训练 GAN之父Ian Goodfellow在15年的ICLR中 第一次提出了对抗训练这个概念，简而言之，就是在原始输入样本 x 上加一个扰动 radv ，得到对抗样本后，用其进行训练。也就是说，问题可以被抽象成...
灰盒对抗训练：提升机器学习模型的鲁棒性评估
对抗性训练(Adversarial Training, AT)是一种常用的方法，它通过在训练过程中结合正常样本和对抗性样本，以期让模型学习到更稳健的特征表示。然而，现有对抗性训练策略可能存在局限，有时会收敛到一个退化的最小值，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值