Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention阅读笔记

最新推荐文章于 2023-09-20 19:58:04 发布

「已注销」

最新推荐文章于 2023-09-20 19:58:04 发布

阅读量693

点赞数 1

分类专栏：论文笔记

本文链接：https://blog.csdn.net/bigMonkey521/article/details/107779701

版权

本文探讨了深度Transformer模型面临的梯度消失问题，提出深度缩放初始化（DS-Init）和合并注意力子层（MAtt）两种方法。DS-Init通过调整初始化策略减少残差链接的方差，MAtt则结合self-attention和encoder-decoder attention以降低计算复杂度。

摘要由CSDN通过智能技术生成

1 Abstract

最近在NLP领域，普遍都通过增大神经网络的深度来增强模型的性能和模型容量，然而简单的堆叠神经网络例如在Transformer模型中，会使模型变得难以训练，收敛性会变差并且还会使计算复杂度增高。
在本文中，作者认为深度模型难以收敛主要是因为梯度消失现象，而这一现象在Transformer中主要是由于残差链接和层正则化之间的相互影响。
在本文中，作者提出了两个方法来解决上述问题：
（1） Depth-scaled initialization(DS-Init) 该模型主要通过在初始化阶段减少模型参数的方差，并以此来减少残差链接输出的方差。从而缓解反向传播过程中通过正则化层时的梯度问题。
（2） Merged Attention sublayer(MAtt) 该模型主要为了缓解decoder的计算复杂性。作者将decoder端的self-attention和encoder-decoder attention进行组合，从而形成MAtt

2 Introduction

在图像领域，好的模型一般都有很深的深度，而在NLP领域，尤其是Transformer却难以加深层次。作者对比了近期其他研究者的工作，认为深度Transformer中遭受了很严重的梯度消失问题（如下图所示），作者认为这种现象是由于层间的残差链接以及层正则化的影响。
在这里插入图片描述
由图中可以看到，当模型的层数不断加深时，浅层网络中的梯度消失的现象十分明显。
具体来说，DS-Init通过在初始化阶段使用一个与层数相关的折扣系数（discount factor ） $\frac {1}{\sqrt(l)}$

最低0.47元/天解锁文章