Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention阅读笔记
1 Abstract最近在NLP领域,普遍都通过增大神经网络的深度来增强模型的性能和模型容量,然而简单的堆叠神经网络例如在Transformer模型中,会使模型变得难以训练,收敛性会变差并且还会使计算复杂度增高。在本文中,作者认为深度模型难以收敛主要是因为梯度消失现象,而这一现象在Transformer中主要是由于残差链接和层正则化之间的相互影响。在本文中,作者提出了两个方法来解决上述问题:(1) Depth-scaled initialization(DS-Init) 该模型主要通过在初始化阶段减
原创
2020-08-04 14:33:52 ·
616 阅读 ·
1 评论