点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
点击进入—> Transformer微信技术交流群
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
要说Transformer的核心亮点,当然是注意力机制了。
但现在,一篇新研究却突然提出了带点火药味的观点:
注意力机制对于预训练Transformer有多重要,这事儿得打个问号。
研究人员来自希伯来大学、艾伦人工智能研究所、苹果和华盛顿大学,他们提出了一种新的方法,用来衡量注意力机制在预训练Transformer模型中的重要性。
结果表明,即使去掉注意力机制,一些Transformer的性能也没太大变化,甚至与原来的模型差异不到十分之一!
这个结论让不少人感到惊讶,有网友调侃:
你亵渎了这个领域的神明!
所以,究竟如何判断注意力机制对于Transformer模型的重要性?
把注意力换成常数矩阵
这种新测试方法名叫PAPA,全称“针对预训练语言模型注意力机制的探测分析”(Probing Analysis for PLMs’ Attention)。
PAPA采用的方法,是将预训练语言模型(PLMs)中依赖于输入的注意力矩阵替换成常数矩阵。
如下图所示,我们熟悉的注意力机制是通过Q和K矩阵,计算得到注意力权重,再作用于V得到整体权重和输出。
现在,Q和K的部分直接被替换成了一个常数矩阵C:
其中常数矩阵C的计算方式如下:
随后,用6个下游任务测试这些模型(CoLA、MRPC、SST-2、MNLI、NER、POS),对比采用PAPA前后,模型的性能差距。
为了更好地检验注意力机制的重要性,模型的注意力矩阵并非一次性全换成常数矩阵,而是逐次减少注意力头的数量。
如下图,研究先用了BERT-BASE、RoBERTa-BASE和DeBERTa-BASE做实验,其中y轴表示性能,x轴是注意力头相比原来减少的情况:
随后,研究又用了BERT-LARGE、RoBERTa-LARGE和DeBERTa-LARGE做实验:
通过比较结果,研究人员发现了一些有意思的现象:
首先,用常数矩阵替换一半的注意矩阵,对模型性能的影响极小,某些情况下甚至可能导致性能的提升(x值达到½时,图中有些模型数值不减反增)。
其次,即使注意力头数量降低为0,平均性能下降也就8%,与原始模型相比最多不超过20%。
研究认为,这种现象表明预训练语言模型对注意力机制的依赖没那么大(moderate)。
模型性能越好,越依赖注意力机制
不过,即使是预训练Transformer模型之间,性能表现也不完全一样。
作者们将表现更好的Transformer模型和更差的Transformer模型进行了对比,发现原本性能更好的模型,在经过PAPA的“测试”后,性能反而变得更差了。
如下图,其中y轴代表各模型原本的平均性能,x轴代表将所有注意力矩阵替换为常数矩阵时(经过PAPA测试)模型性能的相对降低分值:
可以看出,之前性能越好的模型,将注意力矩阵替换成常数矩阵受到的损失也越高。
这说明如果模型本身性能越好,对注意力机制的利用能力就越好。
对于这项研究,有网友感觉很赞:
听起来很酷,现在不少架构太重视各种计算和性能任务,却忽略了究竟是什么给模型带来的改变。
但也有网友认为,不能单纯从数据来判断架构变化是否重要。
例如在某些情况下,注意力机制给隐空间(latent space)中数据点带来的幅度变化仅有2-3%:
难道这种情况下它就不够重要了吗?不一定。
对于注意力机制在Transformer中的重要性,你怎么看?
论文地址:
https://arxiv.org/abs/2211.03495
参考链接:
https://twitter.com/_akhaliq/status/1589808728538509312
点击进入—> Transformer微信技术交流群
CVPR/ECCV 2022论文和代码下载
后台回复:CVPR2022,即可下载CVPR 2022论文和代码开源的论文合集
后台回复:ECCV2022,即可下载CVPR 2022论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer222,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer222,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!
▲扫码进群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看