​CVPR 2022 | 子空间对抗训练

最新推荐文章于 2023-02-05 13:44:54 发布
VIP文章 最新推荐文章于 2023-02-05 13:44:54 发布
阅读量506 收藏 3
点赞数 1
文章标签： 神经网络 算法 python 计算机视觉 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/125075987
版权

aa3296eb133d1d24766ce49ca55b9014.gif

©PaperWeekly 原创 · 作者 | 鬼谷子

研究方向 | GAN图像生成、情绪对抗样本生成

42c0a7e5167891f83f2f2ab6d63f1316.png


引言

该论文是关于一篇对抗训练的文章，论文的代码已经开源。对抗训练是一种可以有效抵御对抗攻击的方法，然而其存在一个严重问题，即在训练过程中，模型会出现过拟合现象，PGD 攻击的鲁棒精度突然会下降到 0%。在该论文中，作者从一种新的优化角度来处理这个问题，作者首先揭示了每个样本的快速增长梯度与过拟合之间的密切联系，这也可以用于理解多步自适应算法中的过拟合现象。

为了控制梯度的增长，作者提出了一种新的对抗训练的方法，即子空间对抗训练，它将对抗训练约束在经过严谨提取的子空间中。实验结果显示，该方法成功地解决了这种模型过拟合问题，并显著提高了模型的鲁棒性，而且时间能耗上也比 PGD-10 小很多。

d22e53430fdb6689578775afd0439fb1.png

论文标题：

Subspace Adversarial Training

论文链接：

https://arxiv.org/abs/2111.12229

代码链接：

https://github.com/nblt/Sub-AT

8a990833a0d7a1d4fc4a9765b4643293.png

相关介绍

对抗训练是目前抵御对抗攻击提高模型鲁棒性最有效的方法。给定一个带有参数 的神经网络 ，其中对抗训练数学形式如下所示࿱

最低0.47元/天 解锁文章
PaperWeekly
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CVPR 2022｜利用属性编辑实现可控、可靠的小样本图像生成.url
10-21
CVPR 2022｜利用属性编辑实现可控、可靠的小样本图像生成.url
Subspace Adversarial Training
weixin_49171105的博客
08-17 495
单步对抗训练AT存在一个灾难性过拟合问题，在训练过程中，针对PGD攻击的文件准确性突然下降到0%。本文揭示了每个样本的快速增长梯度与过拟合之间的密切联系，这也可以应用于理解多步骤AT中的鲁棒过拟合。为了控制梯度的增长，我们提出了一种新的AT方法，即子空间对抗训练（Sub-AT），它在一个精心提取的子空间中约束AT。它成功地解决了这两种过拟合的问题，大大提升鲁棒性。在子空间中，攻击允许以更大的步长和更大的半径进行单步AT，进一步提高鲁棒性性能。...
NeurIPS 2022 | 用离散对抗训练提高视觉模型的鲁棒性和泛化能力
Paper weekly
02-05 537
©PaperWeekly 原创 ·作者 | 陈兆宇单位 |复旦大学ROILab研究方向 |对抗样本论文标题：Enhance the Visual Representation via Discrete Adversarial Training论文链接：http://arxiv.org/abs/2209.07735代码链接：https://github.com/alibaba/easyrobu...
CVPR 2022 中科院、腾讯提出LAS-AT，利用“可学习攻击策略”进行“对抗训练”
我爱计算机视觉
03-22 1057
关注公众号，发现CV技术之美▊1引言由中科院，腾讯AI实验室以及香港中文大学联合出品的硬核对抗训练的新作LAS-AT发表于CVPR2022。对抗训练被认为是抵御对抗攻击最有效的防御方法，它通常会被描述为求解一个极小极大问题，其性能取决于内部优化生成对抗样本的质量。目前在对抗训练中主流采用的攻击算法是PGD攻击，该算法需要人为手动指定攻击参数，有研究表明在对抗训练的不同...
2020年最新对抗攻击论文泛读 adversarial attack
weixin_43916250的博客
07-20 1525
1.Universalization of any adversarial attack using very few test examples 思想： 用目前的攻击方法（FGSM,DeepFool,etl）获取几张不同的图的攻击成功的样本，将其组合成矩阵，对矩阵进行主成分分析、奇异值分解，获取他们的共同点，这样便可以得到泛用的对抗攻击个体。[根据攻击方式的不同分为SVD-FGSM,SVD-DeepFool，etl] 主要贡献： 算法： 效果： 总结： ...
CVPR 2022 LaTex 模板
05-07
CVPR 2022 LaTex 模板
Latex CVPR 2022模板
03-03
│ cvpr.sty │ egbib.bib │ ieee_fullname.bst │ PaperForReview.pdf │ PaperForReview.tex │ README.md │ RebuttalTemplate.pdf │ RebuttalTemplate.tex
CVPR 2022 Tutorial Denoising Diffusion-based Generative Model
最新发布
11-11
由CVPR、NVIDIA、Google AI等组织分享的技术文章，主要基于扩散模型的生成技术，内容包括基础和应用。 页数：全文共有188页。 全称：Denoising Diffusion-based Generative Modeling: Foundations and Applications ...
车道线检测 CVPR2022 PytorchAutoDrive: 源代码
10-28
Rethinking Efficient Lane Detection via Curve Modeling.
DLDR:动态线性尺寸缩减以实现优化
04-07
DLDR 动态线性降维（DLDR）进行优化 要求 这是我的实验环境： python 3.6 pytorch 1.4.0 CUDA版本10.0.130 用法 我们以CIFAR-100数据集为例。 输入目录 $ cd DLDR $ cd CIFAR-100 运行演示 $ ./run.sh 具体来说，该演示包括两个步骤。 第一步是使用常规优化器（例如SGD）对模型进行预训练并执行DLDR采样： $ python -u train_sgd.py --randomseed 1 --arch= $model --epochs=201 --save-dir=save_ $model | & tee -a log_ $model 您可以设置randomseed和总训练时期epochs的自己。 默认情况下，我们将在每次训练之前和之后总共采样100个纪元。 第二步是训练从最后一步的SA
对抗子空间维度探讨
Paper weekly
02-13 2064
©PaperWeekly 原创 ·作者 | 孙裕道单位 | 北京邮电大学博士生研究方向 | GAN图像生成、情绪对抗样本生成引言对抗样本是深度学习模型的主要威胁之一，对抗样本会使得目标分...
CVPR'22 最新132篇论文分方向整理｜包含目标检测、图像处理、医学影像等28个方向...
qq_29462849的博客
03-28 5269
本文首发极市平台公众号，转载请获得授权并标明出处。CVPR 2022 已经放榜，本次一共有2067篇论文被接收，接收论文数量相比去年增长了24%。在CVPR2022正式会议召开前，为了让大家更快地获取和学习到计算机视觉前沿技术，极市对CVPR022 最新论文进行追踪，包括分研究方向的论文、代码汇总以及论文技术直播分享。CVPR 2022 论文分方向整理目前在极市社区持续更...
对抗性训练（Adversarial training）
rocsoft
09-03 3817
对抗性训练最大最小化公式： min⁡θE(x,y)∼D[max⁡Δx∈ΩL(x+Δx,y;θ)] \min_{\theta}\mathbb{E}_{(x,y)\sim\mathcal{D}}\left[\max_{\Delta x\in\Omega}L(x+\Delta x, y;\theta)\right] θmin​E(x,y)∼D​[Δx∈Ωmax​L(x+Δx,y;θ)] D\mathcal{D}D表示训练数据，xxx表示输入，yyy表示标签，θ\thetaθ表示模型参数，L(⋅)L(·)L(⋅)表
牛津大学出品：随机噪声对抗训练
欢迎来到道的世界
02-06 1万+
Eη[∥δN−FGSM∥22]=Eη∥η+α⋅sign(∇xℓ(f(x+η),y))∥22=E[∑i=1d(ηi+α⋅sign(∇(η)i))2]=∑i=1dEη[(ηi+α⋅sign(∇(η)i))2]=∑i=1dEη[(ηi+α⋅sign(∇(η)i))2∣sign(∇(η)i)=1]⋅Pη[sign(∇(η)i)=1]+∑i=1dEη[(ηi+α⋅sign(∇(η)i))2∣sign(∇(η)i)=−1]⋅Pη[sign(∇(η)i)=−1]=∑i=1d12kϵ∫−kϵkϵ(ηi+α)2dηi⋅Pη[
奇异值分解（SVD）经典讲解
donyzh的博客
11-01 6456
对奇异值分解一直不太清楚具体的含义，经过将近一个礼拜的各种翻阅网上资料，找到了很不错的几篇文章（教程），个人感觉相当不错，特地记下几位大神的文章链接，以备常阅！ 文章链接如下： http://web.mit.edu/be.400/www/SVD/Singular_Value_Decomposition.htm http://charleshm.github.io/2016/03/Sing
直播预告 | CVPR 2022论文解读：基于可学习攻击策略的对抗训练
Paper weekly
05-31 542
本期 AI Drive，我们邀请到中国科学院信息工程研究所博士生加小俊，为大家在线解读其发表在 CVPR 2022 的最新研究成果。本次报告的主题为「LAS-AT基于可学习攻击策略的对抗训练」。对本期主题感兴趣的小伙伴，5 月 31 日（本周二）晚 7 点，我们准时相约 PaperWeekly 直播间。直播信息对抗训练通常被描述为一个 minimax 的优化问题，其性能取...
对抗样本可转移性与黑盒攻击_学习笔记
热门推荐
Erpim的博客
09-07 1万+
1 
对抗训练-smart 论文阅读笔记
Magicapprentice的博客
04-09 1571
对抗训练-smart 论文阅读笔记 SMART: Robust and Efficient Fine-Tuning for Pre-trained NaturalLanguage Models through Principled Regularized Optimization 论文地址 :https://arxiv.org/abs/1911.03437 code地址 : Fine-tuning code and models 时间 : 2020-10 机构 : microsoft,gatech 关
CVPR2022年提出的注意力机制
08-31
CVPR2022年没有提出新的注意力机制。根据引用提供的信息，CVPR2022主要介绍了一个新的卷积神经网络模型，该模型被认为是适用于2020年代的ConvNet。引用中提到的"Point-BERT"是一个在3D点云上进行预训练的Transformer...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值