目录
论文简介与作者
背景(以往缺点与不足)
不同学者使用不同的方式合并关于元素的顺序位置的信息。
- 卷积神经网络固有地捕获每个卷积的内核大小内的相对位置。
- RNN在计算隐藏状态ht时,结合其在时间t的输入和先前隐藏状态ht-1的函数直接通过其序列结构捕获沿时间维度沿着的相对和绝对位置。
Transformer模型
既不使用卷积也不使用递归,位置编码,将每个位置用一个向量来表示,然后与元素对应的词向量相加来使得模型可以感知元素地位置信息。
缺点
- 没有显式对相对位置建模。
- 不一定顺序地考虑输入元素,需要显式地编码位置信息以能够使用序列顺序。
新方法
- 提出相对位置编码(Relation-aware): 考虑任意两个元素之间的输入。
- 扩展Self-attention机制: 扩展的自注意力机制的Transformer考虑任意两个元素之间的输入
符号定义与公式
Attention的扩展
改为了:
(将边信息传播到子层输出)
eij使用compatib计算,并且比较两个输入元素的兼容性函数
改为:
(在计算兼容性时考虑边)
其中参数是唯一的
相对位置表示法
边表示相对位置距离。
(边描绘相对位置,裁剪最大距离)
实验
实验装置
tensor2tensor 1库
实验数据集
WMT 2014机器翻译任务
由大约450万个句子对组成的WMT 2014英语-德语数据集
大约3600万个句子对组成的2014 WMT英语-法语数据集
变量:分别使用相对位置和绝对位置表示法,base/big模型,在两个不同数据集上的指标对比。
GPU处理
实验结果
机器翻译实验,结果是每秒的步数减少了7%
WMT 2014英语到德语和英语到法语的翻译任务中,分别比绝对位置表示提高了1.3 BLEU和0.3 BLEU。
模型推广
评估了不同裁剪距离k的BLEU评分
评估两种相对位置表示的BLEU评分
个人总结
将attention扩展(考虑边的兼容性影响,将边的相对位置信息传播到子层),使用相对位置表示法。
备注
以上仅为个人看法,不喜勿喷。