[nlp] 对抗学习 FGM, PGD到FreeLB

已于 2024-03-18 20:30:43 修改
阅读量826 收藏
点赞数
分类专栏： nlp 文章标签： 深度学习 神经网络 计算机视觉
于 2022-11-13 18:39:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/127827157
版权
本文总结了对抗学习在自然语言处理中的进展，包括FGM、PGD和FreeLB等技术。FGM通过一阶梯度构造对抗样本，PGD通过多步增量扰动增强，FreeLB则降低了PGD的计算成本。对抗学习通过增加模型对对抗样本的识别能力，提升模型的鲁棒性和泛化性能。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
对抗学习总结：FGSM-＞FGM-＞PGD-＞FreeAT, YOPO -＞FreeLb-＞SMART-＞LookAhead-＞VAT
u013250861的博客
01-03 1056
PGD虽不复杂，但因其两次保存/恢复操作容易搞晕——应注意的是，在K步for循环的最后一步，恢复的是梯度，因为我们要在原始梯度上进行梯度更新，更新的幅度即”累加了K次扰动的embedding权重所对应的梯度“；对于每个样本，FGSM和FGM都只用计算两次，一次是计算x的前后向，一次是计算x+r的前后向。FreeLB指出，FreeAT的问题在于每次的r对于当前的参数都是次优的（无法最大化loss），因为当前r是由r(t-1)和theta(t-1)计算出来的，是对于theta(t-1)的最优。
NLP --- >对抗学习：从FGM, PGD到FreeLB
chencas的博客
12-18 8457
背景 我们知道，对抗学习能够得到更加鲁棒的神经网络结构。通过对训练样本添加一个较小的扰动，然后将其用于模型训练，能够有效地防范这类的攻击，该方法开始被提出用于自动驾驶等，后面被用于自然语言处理中，同样大幅提高模型的结果。 本篇文章提出一种新的对抗训练算法，FreeLB(Free Large-Batch)，通过对词向量添加一个对抗扰动，并且最小化添加扰动样本的损失。该方法利用了最近提出的 “free...
FGM对抗训练
pythonwyq的博客
06-26 5192
​对抗训练无论是在CV领域还是在NLP领域都具有举足轻重的地位，在NLP比赛中,抗训练确确实实能够提升模型在具体任务上的泛化性能。 ​
【综述】NLP 对抗训练（FGM、PGD、FreeAT、YOPO、FreeLB、SMART）
Aries_young的博客
10-14 5458
在对抗训练中关键的是需要找到对抗样本，通常是对原始的输入添加一定的扰动来构造，然后放给模型训练，这样模型就有了识别对抗样本的能力。其中的关键技术在于如果构造扰动，使得模型在不同的攻击样本中均能够具备较强的识别性 对抗训练，简单来说，就是在原始输入样本 xxx 上加上一个扰动 radvr_{adv}radv​​（在下文中有时记为 δ\deltaδ），得到对抗样本后，用其进行训练。2018 年 Madry 针对对抗学习定义了一个 Min-Max 的公式1，即 minθE(x,y)∼D[maxradv∈S&nbs
对抗训练FGM等
M_arshal_的博客
03-19 918
如何进行数据增强： https://blog.csdn.net/weixin_42001089/article/details/115458615 FGSM class FGM(object): def __init__(self, model, emb_name, epsilon=1.0): # emb_name这个参数要换成你模型中embedding的参数名 self.model = model self.epsilon = epsilon
NLP中的对抗学习VS对比学习-1
Hekena的博客
03-18 1756
思维导图链接：https://www.processon.com/mindmap/64159f9ff502f062b5d616be是为了让模型更鲁棒，对噪声更加的不敏感。 在实现这一点上，有对抗防御、对抗攻击和对抗训练。 对抗防御是识别出更多的样本 对抗攻击是为了构造更多的样本 对抗训练是将样本添加到模型中，以提高模型的鲁棒性embedding是词的表示的一种，一般是可以互相替换的词之间的相似度是比较高的。 大概还是和最初的训练objective 有关，一般的Word embedding的训练是根据自监督
浅谈NLP中的对抗训练方式
Paper weekly
12-18 1458
©作者 | 林远平单位 | QTrade AI研发中心研究方向 | 自然语言处理前言什么是对抗训练呢？说起“对抗”，我们就想起了计算机视觉领域的对抗生成网络（GAN）。在计算机视觉中，对抗...
BERT模型—6.对抗训练原理与代码实现
柳杰的博客
07-29 5664
文章目录引言一、对抗训练一般原理1.对抗样本二、对抗训练的经典算法三、对抗训练代码实现1.FGM2.PGD 引言   对抗训练对于NLP来说，是一种非常好的上分利器，所以，非常有必要加深对对抗训练的认识。 一、对抗训练一般原理   小学语文课上，我们都学习过《矛与盾》这篇课文， 从辩证唯物史观角度来看，矛与盾并没有严格意义上的谁更厉害，谁一直占优。矛盾着的双方又同一又斗争，双方力量此长彼消，不断前进，从而推动事物发展。这也就是对抗训练。 1.对抗样本   两句话，只是部分英文单词发生了改变，但是在我们看来
【深度学习】NLP中的对抗训练
最新发布
Dong_ZH的博客
08-14 1561
在NLP中，对抗训练往往都是针对嵌入层（包括词嵌入，位置嵌入，segment嵌入等等）开展的，思想很简单，即针对嵌入层添加干扰，从而提高模型的鲁棒性和泛化能力，下面结合具体代码讲解一些NLP中常见对抗训练算法。
FreeLB:自然语言理解的对抗训练
04-23
介绍 此存储库包含基于和库的GLUE任务上./fairseq-RoBERTa/ ，分别在./fairseq-RoBERTa/和./huggingface-transformers/下。 我们还在我们的fairseq版本中集成了香草PGD， 和的实现。 FreeLB是一种对抗训练方法，用于在自然语言理解任务上改进基于转换器的语言模型。 它在上升步骤中累积梯度，并使用累积的梯度更新参数，这大约等同于在干净输入周围的不同半径内使用多样化的对抗示例来扩大批次大小。 FreeLB在各种自然语言理解任务（包括问题回答，自然语言推理和情感分析）上提高了BERT和RoBERTa的性能。 有关技术细节和其他实验结果，请参考我们的论文： Chen Zhu，Yu Cheng，Zhe Gan，Sun Siqi，Tom Goldstein和Liujingjing。 。 在ICLR中，2020年。 什么是新的 2
NLP中的对抗训练
HUSTHY的博客
01-19 7306
NLP中的对抗训练 FGM PGD FreeLB SMART import torch class FGM(): ''' Example # 初始化 fgm = FGM(model,epsilon=1,emb_name='word_embeddings.') for batch_input, batch_label in data: # 正常训练 loss = model(batch_input, batch_label)
模型训练-Tricks-提升鲁棒性(1)：对抗训练【FGM、PGD、FGSM、FreeLB、AWP】
u013250861的博客
02-17 1558
对抗训练中关键的是需要找到对抗样本(尽量让模型预测出错的样本)，通常是对原始的输入添加一定的扰动来构造，然后用来给模型训练.【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现 - 知乎一文搞懂NLP中的对抗训练FGSM/FGM/PGD/FreeAT/YOPO/FreeLB/SMART - 知乎FGM对抗训练_Mr.奇的博客-CSDN博客对抗训练fgm、fgsm和pgd原理和源码分析_谈笑风生...的博客-CSDN博客_pgd对抗训练。
对抗学习概念、基本思想、方法综述
热门推荐
Pain is inevitable but suffering is optional.
04-16 2万+
对抗学习的基本概念 要认识对抗训练，首先要了解 “对抗样本”，它首先出现在论文 Intriguing properties of neural networks 之中。简单来说，它是指对于人类来说 “看起来” 几乎一样，但对于模型来说预测结果却完全不一样的样本，比如下面的经典例子（一只熊猫加了点扰动就被识别成了长臂猿） 对抗学习的基本思想 Min-Max公式： max函数指的是，我们要找到一组在样本空间内、使Loss最大的的对抗样本（该对抗样本由原样本x和经过某种手段得到的扰动项r_adv共同组合得到
模型训练：常用训练tricks【鲁棒性：对抗训练FGM、权值平均EMA/SWA】【加速训练：混合精度】
u013250861的博客
07-29 1032
例如：我们可以先用标准的衰减学习率策略在前75%的训练时间里进行学习，然后再把学习率设定到一个合理的较大的常数学习率上，在剩余的25%的训练时间里学习，这样就得到了很多的ckpt。简言之，SWA 就是对通过可调整的学习率的SGD算法得到的多个权重进行平均的方法。SWA最终的结果就是在一个广阔的平坦的 loss 区域的中心，而SGD趋向于收敛到低loss区域的边界，这使得结果容易受到训练和测试误差平面之间转换的影响，即在低loss区域的边界可能在测试集合误差平面较大的位置，也就是模型不够鲁棒。
GFFMPEG系统结构简介
flying8127的专栏
07-25 578
FFMPEG系统结构 主要接口 (1) int av_open_input_file(AVFormatContext **ic_ptr, const char *filename,                       AVInputFormat *fmt,                       int buf_size,
机器学习之文本分类（附带训练集+数据集+所有代码）
天才幻想家
12-07 1万+
我本次对4类文本进行分类（（所有截图代码和数据集最后附带免费下载地址）） 主要步骤：  1.各种读文件，写文件  2.使用jieba分词将中文文本切割  3.对处理之后的文本开始用TF-IDF算法进行单词权值的计算  4.去掉停用词  5.贝叶斯预测种类 文本预处理：  除去噪声，如：格式转换，去掉符号，整体规范化  遍历的读取一个文件下的每个文本 中文分词 中文分词就是...
NLP几种常用的对抗训练方法
夏栀的博客
02-07 7625
NLP几种常用的对抗训练方法   对抗训练本质是为了提高模型的鲁棒性，一般情况下在传统训练的基础上，添加了对抗训练是可以进一步提升效果的，在比赛打榜、调参时是非常重要的一个trick。对抗训练在CV领域内非常常用，那么在NLP领域如何使用呢？本文简单总结几种常用的对抗训练方法。   对抗训练旨在对原始输入样本 xxx 上施加扰动 radvr_{adv}radv​，得到对抗样本后用其进行训练： 公式理解： 最大化扰动：挑选一个能使得模型产生更大损失（梯度较大）的扰动量，作为攻击； 最小化损失：根据最大
nlp中的对抗训练比较
yingzi的技术博客
10-29 867
常见的对抗训练有：fgsm、fgm、pgd、FreeAT、yopo、FreeLB、smart，AWP这里给出fgsm、fgm、pgd、FreeAT的代码以及实验结果。
深度学习驱动的NLP综述：自然语言处理入门与进展
自然语言处理（NLP）是一门综合性的交叉学科，结合了人工智能和语言学，其目标是通过计算机理解、解析和生成人类自然语言。本文从两个核心论文的角度，深入浅出地概述了NLP的基础概念和深度学习在NLP领域的应用。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值