(九十四):GLU Variants Improve Transformer
- 出处:CoRR abs/2002.05202 (2020)
- 代码:https://github.com/labmlai/annotated_deep_learning_paper_implementations
- 题目:GLU变体改进变压器
- 主要内容:
Abstract
门控线性单元[Dauphin等人,2016]由两个线性投影的组件级乘积组成,其中一个首先通过一个sigmoid函数。GLU的变化是可能的,通过使用不同的非线性(甚至线性)函数来代替sigmoid函数。我们在Transformer [Vaswani等人,2017]序列对序列模型的前馈子层中测试了这些变体,发现其中一些比通常使用的ReLU或GELU激活产生了质量改善。
1. Introduction
Transformer [Vaswani等人,2017]序列对序列模型在多头注意和它所称的“位置前馈网络”(FFN)之间交替。
FFN取一个向量x(序列中特定位置的隐藏表示),并将其通过两个已知的线性变换(由矩阵W1和W2以及偏置向量b1和b2表示)。一个修正线性(ReLU) [Glorot等人,2011]激活函数应用于两个线性变换之间。
遵循T5代码基[Raffel等人,2019]1,我们使用一个没有bias的版本: