ICLR 2022 | 基于对抗自注意力机制的预训练语言模型

最新推荐文章于 2024-06-28 00:40:27 发布
最新推荐文章于 2024-06-28 00:40:27 发布
阅读量261 收藏 1
点赞数
文章标签： 机器学习 人工智能 深度学习 python 算法
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247579253&idx=3&sn=2d654a0dc8039de6643d771d1d29c000&chksm=96eb69f5a19ce0e3ba8663be4aa22b480273f0d6e7ac82660f970a193bd8f72d2d0e60ff5343&scene=126&&sessionid=0
版权

cc822c324e9f0de08ef8163f4f009924.gif

©作者 | 曾伟豪

单位 | 北京邮电大学

研究方向 | 对话摘要生成

02c4b6eea4f3c35a2441041b8c2bca82.png

论文名称：

Adversarial Self-Attention For Language Understanding

论文来源：

ICLR 2022

论文链接：

https://arxiv.org/pdf/2206.12608.pdf

2e6ae60e3c0cb0972e9daaa5249453b0.png

Introduction

本文提出了 Adversarial Self-Attention 机制（ASA），利用对抗训练重构 Transformer 的注意力，使模型在被污染的模型结构中得到训练。

尝试解决的问题：

  1. 大量的证据表明，自注意力可以从 allowing bias 中获益，allowing bias 可以将一定程度的先验（如 masking，分布的平滑）加入原始的注意力结构中。这些先验知识能够让模型从较小的语料中学习有用的知识。但是这些先验知识一般是任务特定的知识，使得模型很难扩展到丰富的任务上。

  2. adversarial training 通过给输入内容添加扰动来提升模型的鲁棒性。作者发现仅仅给 input embedding 添加扰动很难 confuse 到 attention maps. 模型的注意在扰动前后没有发生变化。

为了解决上述问题，作者提出了 ASA，具有以下的优势：

  1. 最大化 empirical training risk，在自动化构建先验知识的过程学习得到biased（or adversarial）的结构。

  2. adversial 结构是由输入数据学到，使得 ASA 区别于传统的对抗训练或自注意力的变体。

  3. 使用梯度反转层来将 model 和 adversary 结合为整体。

  4. ASA 天然具有可解释性。

fd9e49d336f5eac37b3c7447d9b73c8f.png


Preliminary

表示输入的特征，在传统的对抗训练中， 通常是 token 序列或者是 token 的 embedding， 表示 ground truth. 对于由 参数化的模型，模型的预测结果可以表示为 。


2.1 Adversarial training

对抗训练的目的是旨在通过推近经过扰动的模型预测和目标分布之间的距离来提升模型的鲁棒性：

53b747404d2917fc6dad4830a88b5262.png

其中 代表经过对抗扰动 扰动后的模型预测， 表示模型的目标分布。

对抗扰动 通过最大化 empirical training risk 获得：

17b45a24ad1b2af14c5742f5a6fbc529.png

其中 是对 做出的约束，希望在 较小的情况下给模型造成较大的扰动。上述的两个表示展示的就是对抗的过程。

2.2 General Self-Attention

定义自注意力的表达式为：

2d8204c345c235d7d09824ccc274401b.png

在最普通的自注意力机制中 代表全等矩阵，而之前的研究中， 代表的是用来平滑注意力结构的输出分布的一定程度的先验知识。

作者在本文将 定义为元素为 的 binary 矩阵。

b66bf44578ec54f94b0c594f8833dc03.png


Adversarial Self-Attention Mechanism


3.1 Optimization

ASA 的目的是掩盖模型中最脆弱的注意力单元。这些最脆弱的单元取决于模型的输入，因此对抗可以表示为由输入学习到的“meta-knowledge”：，ASA 注意力可以表示为：

2f86b5685a7f1267acf30ebb90121852.png

与对抗训练类似，模型用来最小化如下的 divergence：

39ceebf6545b1b85d577c6c810091945.png

通过最大化 empirical risk 估计得到 ：

02112750388f036e14b675e5d0692e15.png

其中 表示的是 的决策边界，用来防止 ASA 损害模型的训练。

考虑到 以 attention mask 的形式存在，因此更适合通过约束 masked units 的比例来约束。由于很难测量 。

的具体数值，因此将 hard constraint 转化为具有惩罚的 unconstraint：

15db2289b0d333c58898cf19f30dd78f.png

其中 t 用来控制对抗的程度。


3.2 Implementation

作者提出了 ASA 的简单且快速的实现。

381b4187cbce8767c69f409a2275fcab.png

对于第 自注意力层， 可以由输入的隐层状态获得。具体而言，使用线性层将隐层状态转化为 以及 ，通过点乘获得矩阵 ，再通过重参数化技巧将矩阵 binary 化。

由于对抗训练通常包括 inner maximization 以及 outer minimization 两个目标，因此至少需要两次 backward 过程。因此为了加速训练，作者采用了 Gradient Reversal Layer（GRL）将两个过程合并。

3.3 Training

训练目标如下所示：

ea1b7c05f1f8da344b2bde8d43155bf4.png

表示 task- specific 损失， 表示加上 ASA 对抗后的损失， 表示对于对于 的约束。

cac93735014d9e50cffe11824ffbd179.png

Experiments


4.1 Result

1e488b8d12309802d975a6cf9ed8df72.png

从上表可以看出，在微调方面，ASA 支持的模型始终在很大程度上超过了原始的BERT 和 RoBERTa. 可以看到，ASA 在小规模数据集比如说 STS-B，DREAM 上表现优异（一般认为这些小规模数据集上更容易过拟合）同时在更大规模的数据集上如 MNLI，QNLI 以及 QQP 上仍然有较好的提升，说明了 ASA 在提升模型泛化能力的同时能提升模型的语言表示能力。

如下表所示，ASA 在提升模型鲁棒性上具有较大的作用。

a42c08eaaf35836f63f17004332596ba.png

4.2 分析实验

1. VS. Naive smoothing

将 ASA 与其他注意力平滑方式进行比较。

255b31991ea3cdc69c95a72ae89373f5.png

2. VS. Adversial training

将 ASA 与其他对抗训练方式进行比较

9f5d2b2c7b25ec53d18a1df37c79a216.png

4.3 Visualization

1. Why ASA improves generalization

对抗能够减弱关键词的注意力而让非关键词接受更多的注意力。ASA 阻止了模型的懒惰预测，但敦促它从被污染的线索中学习，从而提高了泛化能力。

e0f043b4028aeb56605dbe9c566976df.png

2. Bottom layers are more vulnerable 

可以看到 masking 占比随着层数由底层到高层逐渐降低，更高的 masking 占比意味着层的脆弱性更高。

04ca4a5998f574dd67aaf3d1cb6c5c4d.png

0f5c6ef1260c3568eab27ffa2d0a7fed.png


Conclusion

本文提出了 Adversarial Self-Attention mechanism（ASA）来提高预训练语言模型的泛化性和鲁棒性。大量实验表明本文提出的方法能够在预训练和微调阶段提升模型的鲁棒性。

更多阅读

fddc47e6100e606612ef1b47f3ccec81.png

2ca0f99deafe0d2b63d4655820a9a1be.png

0202ea58b85d7a78199114c15edddab8.png

791ca8aaceba1fdcaac9fa2bbcb8074c.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

a7fb928fd62b6e9a30d5f8addcbcbf5e.png

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

3f32a907c9f4d3ebf52bbbd5bf416461.jpeg

PaperWeekly
关注
自注意力(SelfAttention)原理与代码实战案例讲解
程序员光剑
06-18 615
自注意力(Self-Attention)是一种用于自然语言处理(NLP)和计算机视觉(CV)等领域的技术，它可以帮助模型更好地理解输入数据中的关系和重要性。自注意力最初是在Transformer模型中提出的，而Transformer模型则是目前NLP领域最先进的模型之一。自注意力的应用已经被广泛应用于各种任务，例如机器翻译、文本分类、语音识别、图像生成等。自注意力机制的核心思想是让模型在处理一个输入序列时，能够对序列中的每个元素进行加权求和，从而捕捉到序列中元素之间的关系。
自然语言处理中的自注意力机制（Self-attention Mechanism）
weixin_33751566的博客
03-24 1316
自然语言处理中的自注意力机制（Self-attention Mechanism） 近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提...
【自注意力机制必学】BERT类预训练语言模型（含Python实例）
Moresweet 猫甜
06-22 1万+
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练模型，它是自然语言处理（NLP）领域的重大里程碑，被认为是当前的State-of-the-Art模型之一。BERT的设计理念和结构基于Transformer模型，通过无监督学习方式进行训练，并且能够适配各种NLP任务。预训练模型是指在大规模文本数据上进行大量无监督训练，学习得到丰富的语言表示。
使用自注意力模型进行语音识别
james2047的专栏
04-04 732
之前最开始使用声学模型为CNN+CTC，语言模型为transformer或者隐式马尔科夫链进行做，发现效果算是一般。由于transformer算法可以将前后关联起来，因此也可以用来进行做语音识别。最终训练过后，transformer在中文的测试集上能够达到5%左右的从字错误率，结果来看还是算可以的。 ...
ICLR2022 | 基于对抗自注意力机制的预训练语言模型
zenRRan的博客
07-08 383
每天给你送来NLP技术干货！©作者 | 曾伟豪单位 | 北京邮电大学研究方向 | 对话摘要生成排版 |PaperWeekly论文名称：Adversarial Self-Attention For Language Understanding论文来源：ICLR 2022论文链接：https://arxiv.org/pdf/2206.12608.pdfIntroductio...
基于注意力的视觉问答模型中引导注意力先验以提高性能
4381利用注意力先验指导视觉问答Thao Minh Le，Vuong Le，Sunil Gupta，Svetha Venkatesh，Truyen Tran应用人工智能研究所，迪肯大学，澳大利亚{...这是因为在训练时，注意力仅由非常稀疏的信号（即，答案标签）在推理
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
程序员光剑
06-25 271
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
大语言模型在金融风控中的应用
程序员光剑
03-09 484
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
基于AI大模型实现自然语言转SQL、SQL解释、SQL优化和SQL转换
最新发布
程序员光剑
06-28 292
随着大数据和人工智能技术的发展，数据分析和数据挖掘在各行各业中的应用越来越广泛。SQL（Structured Query Language）作为关系数据库的查询语言，是数据分析的重要工具。然而，SQL语言的复杂性和专业性使得许多非技术背景的用户难以直接使用，阻碍了数据的广泛利用。为了降低SQL的使用门槛，许多研究者和企业开始探索如何通过自然语言处理（NLP）技术，将自然语言转化为SQL查询语句，从而让用户可以通过自然语言与数据库进行交互。
2022如何轻松地理解注意力机制(Attention)
AIer_Hub的博客
11-14 1597
01 什么是Attention 我们以招聘网站的简历匹配度为例，帮助你轻松理解Attention。 Attention 想必各位社畜都用过各大招聘网站投过简历，在这里把公司 HR 招聘过程比做一个注意力计算过程，HR 拿到了甲乙丙丁 4 人的简历，4 人都有自己的擅长，甲擅长 IT，乙擅长跑步，丙擅长游泳，丁擅长演讲，IT、跑步、游泳和演讲就是 key，将这些 key 在每人身上拉平，并赋予能力值，例如甲擅长 IT，乙不擅长 IT，则甲IT的能力值为 0.9，乙IT的能力值为 0.1，这些能力值就是 val
NLP基础（七）：Transformer模型和Self Attention自注意力机制
lygeneral的博客
07-28 3499
1. 5 1）Positional Encoding 2）Multi-Head Attention多层自注意力层
最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！
深度学习技术前沿
04-25 3367
【导读】近年来，注意力机制在自然语言处理、计算机视觉、多模态处理等各个方面得到了广泛的应用，本文主要给大家分享一篇2022年最新的注意力机制方面的综述研究，该综述详细介绍了50种注意力机制和方法，并根据它们最突出的特征进行了分类。本文针对每一种注意力类别的优势和局限性，该注意力模块的构成以及它的相关应用进行了全面的阐述！资料下载：1. 点击下面链接进入公众号：“深度学习技...
CIKM 2022最佳论文：融合图注意力机制与预训练语言模型的常识库补全
Paper weekly
11-03 1071
©作者 | 巨锦浩单位 | 复旦大学硕士生来源 |知识工场研究背景常识在各种语料库中很少被明确表达，但对于机器理解自然语言非常有用。与传统的知识库（KG）不同，常识库（CKG）中的节点通常由自由格式的文本表示，并且比传统的 KG 规模更大，更稀疏。因此，这对传统的知识库补全（KBC）方法造成了挑战。最近，一些学者致力于开发常识库补全（CKBC）模型，通过预测和推断缺失的实体来提高 CKG 的覆盖...
「深度学习视觉注意力 」最新2022研究综述，概述50种软硬注意力机制方法
w1hsxn的博客
04-21 2207
#今日论文推荐# 「深度学习视觉注意力 」最新2022研究综述，概述50种软硬注意力机制方法 注意力机制是深度学习核心的构件之一，来自Mohammed Hassanin等学者发表了《深度学习视觉注意力》综述论文，提供了50种注意力技巧的深入综述，并根据它们最突出的特征进行了分类。 论文题目：Visual Attention Methods in Deep Learning: An In-Depth Survey 链接：https://www.aminer.cn/pub/625e1a335aee126c0
ICML 2022 | 基于随机注意力机制的可解释可泛化图学习
Paper weekly
08-10 1029
©作者 | 谢彪单位 | 重庆大学研究方向 | 联邦学习、图神经网络论文标题：Interpretable and Generalizable Graph Learning via Stochastic Attention Mechanism论文链接：https://proceedings.mlr.press/v162/miao22a.html代码链接：https://gi...
（2022，MoCA）Few-shot 图像生成的原型记忆（Prototype Memory）和注意力机制
qq_44681809的博客
05-30 1359
本文提出了记忆概念注意力（Memory Concept Attention，MoCA），用于提高 few-shot 图像生成质量。MoCA 只是一个模块，可以插入到 GAN 框架中任何现存的生成器架构层中。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - 各式各样神奇的自注意力机制（Self-Attention）变型
热门推荐
知不足而奋进，望远山而前行
01-05 2万+
Local Attention / Truncated Attention 的思想是，在计算Attention的时候，不利用整个序列的信息，而是只利用当前位置附近的一些信息进行Attention的计算（如下图，只利用了当前位置左右两边的信息进行Attention的计算）。将Key和Query进行点积，可以得到一个N×N的Attention Matrix，但是，当N比较大时，点积的计算量是我们无法承受的。方法2：将原本的d×N的矩阵乘上一个N×K的矩阵，就可以得到d×K的矩阵，从而实现降维。
论文笔记：See Better Before Looking Closer: WS-DAN for Fine-Grained Visual Classification
zzc_zhuyu的博客
12-27 1305
See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification 文章目录See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification0 摘要1 引言2 相关工作3 方法3
语言模型与现实概念空间映射：ICLR 2022论文解析
《将语言模型映射到基于实例的概念空间》(Mapping Language Models to Grounded Conceptual Spaces) 是一篇于2022年国际计算机视觉与模式识别大会(ICLR)上发表的论文，由罗马·帕特尔(Roma Patel)和埃莉·帕夫利克...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值