​CVPR 2022 | 子空间对抗训练

最新推荐文章于 2024-06-16 19:00:00 发布
最新推荐文章于 2024-06-16 19:00:00 发布
阅读量660 收藏 3
点赞数 1
文章标签： 神经网络 算法 python 计算机视觉 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/125075987
版权
本文介绍了子空间对抗训练（Subspace Adversarial Training）方法，该方法旨在解决对抗训练中模型过拟合的问题。通过控制梯度在低维子空间内的增长，该方法能有效提高模型的鲁棒性，减少过拟合现象，并在不增加计算开销的前提下，展现出优于传统对抗训练的效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

aa3296eb133d1d24766ce49ca55b9014.gif

©PaperWeekly 原创 · 作者 | 鬼谷子

研究方向 | GAN图像生成、情绪对抗样本生成

42c0a7e5167891f83f2f2ab6d63f1316.png


引言

该论文是关于一篇对抗训练的文章，论文的代码已经开源。对抗训练是一种可以有效抵御对抗攻击的方法，然而其存在一个严重问题，即在训练过程中，模型会出现过拟合现象，PGD 攻击的鲁棒精度突然会下降到 0%。在该论文中，作者从一种新的优化角度来处理这个问题，作者首先揭示了每个样本的快速增长梯度与过拟合之间的密切联系，这也可以用于理解多步自适应算法中的过拟合现象。

为了控制梯度的增长，作者提出了一种新的对抗训练的方法，即子空间对抗训练，它将对抗训练约束在经过严谨提取的子空间中。实验结果显示，该方法成功地解决了这种模型过拟合问题，并显著提高了模型的鲁棒性，而且时间能耗上也比 PGD-10 小很多。

d22e53430fdb6689578775afd0439fb1.png

论文标题：

Subspace Adversarial Training

论文链接：

https://arxiv.org/abs/2111.12229

代码链接：

https://github.com/nblt/Sub-AT

8a990833a0d7a1d4fc4a9765b4643293.png

相关介绍

对抗训练是目前抵御对抗攻击提高模型鲁棒性最有效的方法。给定一个带有参数 的神经网络 ，其中对抗训练数学形式如下所示ÿ

最低0.47元/天 解锁文章
PaperWeekly
关注
【CVPR_2023论文精读】E4S: Fine-grained Face Swapping via Regional GAN Inversion
zik的博客
05-28 3235
人脸交换是将源人脸的身份信息(如人脸成分的形状、纹理等)传递给给定的目标人脸，同时保留与身份无关的目标人脸属性信息(如表情、头部姿势、背景等)。源脸身份的保存（肤色、形状、纹理）具体是面部皮肤、眉毛、眼睛、鼻子、嘴唇和嘴巴如何正确处理面部遮挡（头发与目标脸相同）具体是头发、眼镜、耳朵、耳环、颈部和背景等非内部人脸区域身份保存此文身份保存用RGI方法来明确地解纠缠人脸成分的形状和纹理，而不是使用人脸识别模型或3DMMs。属性保存此文属性保存是用纹理编码和mask的一个混合来完成。缩写全拼。
【CVPR_2023】StyleIPSB: Identity-Preserving Semantic Basis of StyleGAN for High Fidelity Face Swapping
zik的博客
07-27 324
【Paper】【Code】卖点是pore-level details and identify-preserving.首先是StyleIPSB Construction，其有三个关键点：a subspace ofWW+Wspace, identity-preserving, and representation ability.用到了StyleGAN与3DMM，利用Hessian矩阵来获得basisVVV，最后，将姿态、表情和光照基础组合为StyleIPSBVVpVeViVVp。
对抗子空间维度探讨
Paper weekly
02-13 2178
©PaperWeekly 原创 ·作者 | 孙裕道单位 | 北京邮电大学博士生研究方向 | GAN图像生成、情绪对抗样本生成引言对抗样本是深度学习模型的主要威胁之一，对抗样本会使得目标分...
Subspace Adversarial Training
weixin_49171105的博客
08-17 628
单步对抗训练AT存在一个灾难性过拟合问题，在训练过程中，针对PGD攻击的文件准确性突然下降到0%。本文揭示了每个样本的快速增长梯度与过拟合之间的密切联系，这也可以应用于理解多步骤AT中的鲁棒过拟合。为了控制梯度的增长，我们提出了一种新的AT方法，即子空间对抗训练（Sub-AT），它在一个精心提取的子空间中约束AT。它成功地解决了这两种过拟合的问题，大大提升鲁棒性。在子空间中，攻击允许以更大的步长和更大的半径进行单步AT，进一步提高鲁棒性性能。...
直播预告 | CVPR 2022论文解读：基于可学习攻击策略的对抗训练
Paper weekly
05-31 761
本期 AI Drive，我们邀请到中国科学院信息工程研究所博士生加小俊，为大家在线解读其发表在 CVPR 2022 的最新研究成果。本次报告的主题为「LAS-AT基于可学习攻击策略的对抗训练」。对本期主题感兴趣的小伙伴，5 月 31 日（本周二）晚 7 点，我们准时相约 PaperWeekly 直播间。直播信息对抗训练通常被描述为一个 minimax 的优化问题，其性能取...
子空间对抗训练
欢迎来到道的世界
05-19 760
1 引言 2 相关介绍 3 论文方法 3.1 控制梯度大小
对抗子空间
欢迎来到道的世界
04-06 312
  Ian Goodfellow给出了一个非常有力的证据在斯坦福大学的CS231课程中的第16讲关于对抗样本和对抗训练。如下图所示，图(a)到©中有100个方格，每个方格代表一个Cifar10数据集的样本。方格中的白色表示可以通过Cifar分类器对Cifar10数据集进行正确分类，方格中的其它不同颜色表示Cifar10分类器获得了错误的预测标签。图(d)表明，攻击方向分为梯度方向和梯度的正交方向，然后实验结果如图(a)所示。我们可以发现所有的样本在梯度方向上被成功攻击，但是在梯度的正交方向上失败。图(e)显
繁凡的对抗攻击论文精读（一）CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击（清华朱军）
繁凡さん的博客
12-24 2712
《繁凡的论文精读》（一）CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击（清华朱军） Efficient Decision-based Black-box Adversarial Attacks on Face Recognition
TPAMI 2024 | DaGAN++: 用于生成会说话的头部视频的深度感知生成对抗网络
最新发布
小白学视觉
06-16 255
目前，关于生成会说话的头像视频的主要技术大多依赖于2D信息，包括输入面部图像中的面部外观和运动。然而，密集的3D面部几何信息，如像素级深度，在构建精确的3D面部结构和抑制复杂背景噪声方面起着关键作用。然而，获取面部视频的密集3D注释成本极高。在本文中，首先，我们提出了一种新的自监督方法，用于从面部视频学习密集的3D面部几何（即深度），无需在训练中使用相机参数和3D几何注释。我们进一步提出了一种策略，通过学习像素级不确定性来感知更可靠的刚体运动像素，以便于几何学习。
【CVPR2022】Stealthy and Effective Physical-world Adversarial
B站搜索 馆主君晓 欢迎关注~
03-18 4326
本文首发于馆主君晓的博客：https://guanzhujx.com/archives/cvpr-2022-stealthy-and-effective-physical-world-adversarial 2022CVPR，阴影也能变得很危险，对抗样本攻击，论文原文：https://arxiv.org/abs/2203.03818v2 背景介绍   这篇文章是2022年的CVPR，是哈尔滨工业大学和清华大学联合发表的文章。传统模式对抗样本的生成是基于源模型并且使用梯度上升的方式使得我们生成的扰动能够使
Embedding_Adversarial_Space:探索微调编码器的句子嵌入空间中的对抗子空间
03-26
客观的 探索微调编码器的句子嵌入空间中的对抗子空间 要求 python3.4或以上 必需的软件包（与PyPI一起安装） pip install火炬，torchvision 点安装变压器 点安装scandir 点安装句子 pip安装matplotlib pip安装numpy
CVPR 2022 中科院、腾讯提出LAS-AT，利用“可学习攻击策略”进行“对抗训练”
我爱计算机视觉
03-22 1262
关注公众号，发现CV技术之美▊1引言由中科院，腾讯AI实验室以及香港中文大学联合出品的硬核对抗训练的新作LAS-AT发表于CVPR2022。对抗训练被认为是抵御对抗攻击最有效的防御方法，它通常会被描述为求解一个极小极大问题，其性能取决于内部优化生成对抗样本的质量。目前在对抗训练中主流采用的攻击算法是PGD攻击，该算法需要人为手动指定攻击参数，有研究表明在对抗训练的不同...
中科院与腾讯联合出品CVPR2022新作：LAS-AT利用可学习攻击策略进行对抗训练
欢迎来到道的世界
03-18 1192
3 论文方法 3.1 方法概述 xadv=x+δ←g(x,a,w)x_{adv}=x +\delta \leftarrow g(x,a,w)xadv​=x+δ←g(x,a,w) 3.2 对抗训练公式化表述 min⁡wE(x,y)∼DL(fw(xadv),y)\min\limits_{w}\mathbb{E}_{(x,y)\sim \mathcal{D}}\mathcal{L}(f_w(x_{adv}),y)wmin​E(x,y)∼D​L(fw​(xadv​),y) min⁡wE(x,y)∼D[max⁡θEa
NeurIPS 2022 | 用离散对抗训练提高视觉模型的鲁棒性和泛化能力
Paper weekly
02-05 763
©PaperWeekly 原创 ·作者 | 陈兆宇单位 |复旦大学ROILab研究方向 |对抗样本论文标题：Enhance the Visual Representation via Discrete Adversarial Training论文链接：http://arxiv.org/abs/2209.07735代码链接：https://github.com/alibaba/easyrobu...
CVPR2022：通过基于神经元属性的攻击提高对抗迁移性
欢迎来到道的世界
05-12 1132
3 论文方法  特征级别的攻击在生成对抗样本的过程中会破坏掉积极的特征从而扩大消极的特征。因此，由特征级别生成的对抗样本可有继承误导其他 A:=∑i=1N2(xi−xi′)∫01∂F∂xi(x′+α(x−x′))dαA:=\sum\limits_{i=1}^{N^2}(x_i-x^{\prime}_i)\int_0^1\frac{\partial F}{\partial x_i}(x^{\prime}+\alpha(x-x^{\prime}))d\alphaA:=i=1∑N2​(xi​−xi′​)∫0
机器学习——子空间学习（PCA & LDA）
weixin_47779143的博客
12-11 7700
1. 引入：子空间学习与降维 什么是子空间学习？ 子空间学习大意是指通过投影，实现高维特征向低维空间的映射，是一种经典的降维思想。绝大多数的维数约简（降维，投影）算法都算是子空间学习，如PCA、LDA、LPP、LLE等； 本文只介绍前两种维数约减算法，即主成分分析（PCA）和线性判别分析（LDA）。 什么是降维？什么情况下需要降维？ 降维：寻找一组映射对样本进行重新表示（representation）。 原样本：x=[x1;x2;...;xd]∈Rdx=[x_1;x_2;...;x_d]∈\mathb
人工智能顶会CVPR2023《揭秘对抗性示例中的因果特征：提升深度神经网络鲁棒性的新途径》论文解读
red_guy的博客
12-09 2064
内生性问题与工具变量（IV）方法论文针对深度学习模型中的内生性问题提出了工具变量方法。作者利用对抗性扰动作为工具变量，帮助揭示输入特征对模型输出的真实影响。因果特征的识别和应用通过分析对抗性扰动对模型输出的影响，论文成功识别了对模型预测产生重要影响的因果特征。作者进一步将这些因果特征注入到防御网络中，以提高对抗性鲁棒性。非参数IV回归与AMR-GMM框架论文采用非参数IV回归方法，结合广义矩估计（GMM）和对抗性矩限制（AMR），形成了一个强大的分析框架。这一框架用于从数据中提取和理解因果关系。
CVPR2021论文解读 | 通过方差调整增强对抗性攻击的可转移性
shenlanshenyanai的博客
12-02 2716
作者基于梯度迭代攻击方法加入variance tuning在输入变换以及多模型的设置下，面对9种防御方法可以达到90.1%的平均攻击成功率，将当下最好攻击效果提高了85.1%。 论文信息 会议：CVPR 2021 链接：https://arxiv.org/abs/2103.15571 解决的问题 由于白盒攻击和基于迁移的黑盒攻击在攻击性能方面仍然存在很大差距，于是在本文中，作者提出了一种称为变化（variance tuning）调整的新方法，以增强基于迭代梯度的攻击方法的类别并提高其攻击可迁移性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值