对抗训练：对抗训练中的过拟合现象和对抗训练技巧总结

最新推荐文章于 2024-06-11 10:03:15 发布
最新推荐文章于 2024-06-11 10:03:15 发布
阅读量1.3k 收藏 5
点赞数 1
分类专栏： 深度学习笔记 文章标签： 深度学习 计算机视觉 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/motoight/article/details/121972761
版权
本文探讨了对抗训练中过拟合的问题，即训练集对抗鲁棒性提高但测试集下降。提出了早期停止、数据增广、模型集成和参数平均等解决方案。研究表明，模型集成和参数平均能提升对抗鲁棒性，而特定类型的数据增广如CutMix配合参数平均可有效防止过拟合。此外，对抗训练的技巧包括BN模式、权重衰减和激活函数的选择也是关键因素。
摘要由CSDN通过智能技术生成

什么是对抗训练中的过拟合？


既在训练集上做对抗训练的过程中，训练集的对抗鲁棒性仍在上升，测试集的对抗鲁棒性却下降了。同时两者的分类精度也在持续上升。
常用的解决方案有early stopping，添加额外数据训练（有标签，或者无标签）。

模型集成与参数平均

在这里插入图片描述
上图a中现实的就是在使用额外数据时对测试集对抗样本准确度的变化。有研究发现在对任意两次训练得到的模型进行集成，得到的集成模型有更好的对抗鲁棒性。自然的，半监督学习中常用的模型参数动量更新的方式也可以考虑成不同epoch模型的集成。下图中展示了不同轮次训练的模型的对测试集中样本的对抗鲁棒性，可以看到有明显互补的效果。
上图b中展示了使用模型参数动量更新后对只使用正常训练数据的模型有缓解过拟合的效果；图c中显示了对使用额外数据的模型有boosting的效果。
在这里插入图片描述

对抗训练中的数据增广

在这里插入图片描述
之前也有研究想

最低0.47元/天 解锁文章
motoight
关注
专栏目录
对抗训练:增强大模型的鲁棒性
AI大模型应用之禅
05-26 598
1. 背景介绍 在过去的几年里，深度学习技术取得了突飞猛进的发展。然而，这些技术在实际应用中遇到了许多挑战，尤其是在面对不确定性、噪声和攻击性的环境时。为了解决这些问题，我们需要考虑如何提高模型的鲁棒性。 对抗训练是一种旨在通过生成对抗网络（GAN）对模型进行训练的方法，以提高其对噪声、扭曲和攻击的鲁棒性。通过对抗训练，我们可以教会模型
对抗训练：提升模型鲁棒性的方法
程序员光剑
04-28 308
1. 背景介绍 随着深度学习在各个领域的广泛应用，模型的鲁棒性问题日益凸显。深度学习模型容易受到对抗样本的攻击，即在输入数据中添加微小的扰动，导致模型输出错误的结果。对抗样本的存在对模型的安全性、可靠性构成了严重威胁，因此提升模型鲁棒性成为深度学习领域一个重要的研究方向。 1.1 对抗样本的威胁
对抗过拟合各种方法
Yang_137476932的博客
03-31 603
参考大佬博文：https://www.cnblogs.com/jermmyhsu/p/8227950.html 逐步介绍了过拟合的出现以及各种解决办法
DL基础补全计划(四)---对抗过拟合：权重衰减、Dropout
Sky的专栏
08-01 282
PS：要转载请注明出处，本人版权所有。 PS: 这个只是基于《我自己》的理解， 如果和你的原则及想法相冲突，请谅解，勿喷。 环境说明 Windows 10 VSCode Python 3.8.10 Pytorch 1.8.1 Cuda 10.2 前言   在《DL基础补全计划(三)—模型选择、欠拟合、过拟合》（ https://blog.csdn.net/u011728480/article/details/118881125 ）一文中，我们已经了解了我们训练过程中的一些现象，对于欠拟合问题我们一.
BERT模型—6.对抗训练原理与代码实现
柳杰的博客
07-29 5643
文章目录引言一、对抗训练一般原理1.对抗样本二、对抗训练的经典算法三、对抗训练代码实现1.FGM2.PGD 引言   对抗训练对于NLP来说，是一种非常好的上分利器，所以，非常有必要加深对对抗训练的认识。 一、对抗训练一般原理   小学语文课上，我们都学习过《矛与盾》这篇课文， 从辩证唯物史观角度来看，矛与盾并没有严格意义上的谁更厉害，谁一直占优。矛盾着的双方又同一又斗争，双方力量此长彼消，不断前进，从而推动事物发展。这也就是对抗训练。 1.对抗样本   两句话，只是部分英文单词发生了改变，但是在我们看来
模型训练：常用训练tricks【鲁棒性：对抗训练FGM、权值平均EMA/SWA】【加速训练：混合精度】
u013250861的博客
07-29 1004
例如：我们可以先用标准的衰减学习率策略在前75%的训练时间里进行学习，然后再把学习率设定到一个合理的较大的常数学习率上，在剩余的25%的训练时间里学习，这样就得到了很多的ckpt。简言之，SWA 就是对通过可调整的学习率的SGD算法得到的多个权重进行平均的方法。SWA最终的结果就是在一个广阔的平坦的 loss 区域的中心，而SGD趋向于收敛到低loss区域的边界，这使得结果容易受到训练和测试误差平面之间转换的影响，即在低loss区域的边界可能在测试集合误差平面较大的位置，也就是模型不够鲁棒。
低曲率激活减少对抗训练中的过拟合情况
ssingla，sfeizi，djacobs}@cs.umd.edu摘要对抗性训练是对抗性攻击最有效的防御之一以前的工作表明，过拟合是对抗训练中的一个主要现象，导致神经网络中测试和训练精度之间存在很大的泛化差距。在这项工作中，我们...
学界—虚拟对抗训练：一种监督和半监督学习的正则化方法1
08-03
【虚拟对抗训练（Virtual Adversarial Training, VAT）】是一种监督和半监督学习中的正则化技术，由Takeru Miyato等人在2017年提出。这种方法旨在提高模型的输出分布局部平滑性，增强模型对输入数据点附近微小扰动的...
如何提高NLP模型鲁棒性和泛化能力？对抗训练论文综述.rar
10-18
这是因为对抗训练迫使模型学习更深层次的特征，避免过拟合，从而在未见过的数据上表现更好。 五、对抗训练在NLP中的应用 1. **文本分类**：对抗训练可以改善分类器对恶意评论、虚假新闻等的识别能力。 2. **机器...
Pytorch-Adversarial-Training-CIFAR：此存储库为CIFAR-10上的对抗训练方法提供了简单的PyTorch实现
02-20
CIFAR-10的Pytorch对抗训练 该存储库为CIFAR-10上的对抗训练方法提供了简单的PyTorch实现。 该存储库显示的精度与原始论文中的精度相似。 如果您对此存储库有疑问，请给我发送电子邮件（ ）或提出问题。 实验设定 此存储库中使用的基本实验设置遵循使用的设置。 数据集：CIFAR-10（10个类） 攻击方式：PGD攻击 Epsilon大小： L无限边界为0.0314 Epsilon大小：绑定L2时为0.25（用于攻击）或0.5（用于训练） 培训批次大小：128 重量衰减：0.0002 动量：0.9 学习率调整 0.1代表时期[0，100） 纪元0.01 [100，150） 历时0.001 [150，200） 该存储库中使用的ResNet-18体系结构比Madry Laboratory小，但性能相似。 训练方法 1.基本训练 基本训练方法采用He
NLP中的对抗训练（附PyTorch实现）
mathor的博客
12-01 2337
这篇博客梳理了NLP对抗训练发展的来龙去脉，介绍了对抗训练的数学定义，并对于两种经典的对抗训练方法，提供了插件式的实现，做了简单的实验对照。由于笔者接触对抗训练的时间也并不长，如果文中有理解偏差的地方，希望读者不吝指出。另外还有一些对抗训练算法，读者有兴趣可以查看一文搞懂NLP中的对抗训练以及对抗训练的理解，以及FGM、PGD和FreeLB的详细介绍这两篇文章。
NLP中的对抗训练
HUSTHY的博客
01-19 7278
NLP中的对抗训练 FGM PGD FreeLB SMART import torch class FGM(): ''' Example # 初始化 fgm = FGM(model,epsilon=1,emb_name='word_embeddings.') for batch_input, batch_label in data: # 正常训练 loss = model(batch_input, batch_label)
文本中的对抗训练
WeiXy的博客
06-11 2974
文本中的对抗训练基本概念对抗扰动对抗训练对抗扰动的两个特点测度方式对抗攻击参考文献 附上链接添加链接描述 基本概念 对抗扰动 早在 2014 年，Szegedy et al.发现只要对深度学习模型的输入添加一些微小的扰动就能轻易改变模型的预测结果。后续的研究将该种扰动称之为对抗扰动，扰动后的输入称为对抗样本，将输入对抗样本误导模型的这一过程称为对抗攻击。 对抗训练 对抗训练指的是在模型的训练过程中...
CS231n 笔记- 对抗模型和对抗训练
iwill323的博客
08-27 1312
CS231n 笔记 Adversarial Training
对抗训练理论分析：自适应步长快速对抗训练
Paper weekly
06-23 900
©PaperWeekly 原创 ·作者 |鬼谷子引言该论文是关于对抗训练理论分析性的文章，目前对抗训练及其变体已被证明是抵御对抗攻击的最有效防御手段，但对抗训练的过程极其缓慢使其难以扩展到像 ImageNet 这样的大型数据集上，而且在对抗训练的过程中经常会出现模型过拟合现象。在该论文中，作者从训练样本的角度研究了这一现象，研究表明模型过拟合现象是依赖于训练样本，并且...
数据挖掘竞赛黑科技——对抗验证（Adversarial validation）
Marcus-Bao的个人主页
04-24 1710
通常情况下，我们一般都会使用交叉验证来作为评估模型的标准，来选择我们最后的模型。但是在一些数据挖掘竞赛中，数据集一般分为训练集合测试集，国内比赛可能根据比赛阶段划分多个测试集，由于数据集采样和分布的原因导致训练集和线上测试集可能存在分布不一致的情况，这时候CV无法准确的评估模型在测试集上的效果，导致线上线下不统一，分数上不去。而缓解这一问题的黑科技，就是对抗验证Adversarial valida...
深入探索对抗性鲁棒学习中的过拟合现象：早停策略的至关重要性
最新发布
gitblog_00021的博客
06-11 324
深入探索对抗性鲁棒学习中的过拟合现象：早停策略的至关重要性 项目地址:https://gitcode.com/locuslab/robust_overfitting 在这个开源项目中，作者 Leslie Rice、Eric Wong 和 Zico Kolter 对深度学习在对抗性环境下的过拟合问题进行了深入研究。他们的工作揭示了，在对抗性训练中，与传统训练不同，训练至收敛可能显著降低模型的测试性能...
GAN的训练技巧：炼丹师养成计划 ——生成式对抗网络训练、调参和改进
热门推荐
白洞，白色的明天在等着我们
05-26 1万+
GAN最重要的就是找到D与G之间的纳什均衡，但是在实际中会发现GAN的训练不稳定，训练方法不佳很容易出现模式崩溃等问题，本篇将记录一些训练技巧，不一定适合你的模型，也可能有疏漏和错误，供学习参考，欢迎指正和补充。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值