显式稀疏Transformer

论文地址：EXPLICIT SPARSE TRANSFORMER: CONCENTRATED ATTENTION THROUGH EXPLICIT SELECTION

引言

 

图1:模型中自我注意的说明。橙色条表示我们提出的模型的注意分值，蓝色条表示香草变压器的注意分值。橙色线表示目标单词“tim”与序列中选择的top-k位置之间的注意。在vanilla Transformer的注意力中，“tim”给不相关的单词分配了过多的非零注意力分数。但是对于提案来说，前k个最大的注意力分值消除了无关词语的干扰，注意力变得集中。

我们首先在三个任务上验证我们的方法。为了进一步的研究，我们将我们的方法与之前的稀疏注意方法进行了比较，并通过一系列定性分析实验回答了如何选择k。我们惊讶地发现，提出的稀疏注意方法也可以帮助训练作为一个正则化的方法。可视化分析表明，显式稀疏Transformer在实现高质量对准方面具有更高的潜力。

EXPLICIT SPARSE TRANSFORMER

注意力不集中会导致相关信息的提取失败。为此，我们提出了一种新的模型——显式稀疏变压器，它通过显式选择只关注少数元素。与传统的注意方法相比，与查询不高度相关的值不会被赋值。我们在图2中比较了普通Transformer和显式稀疏Transformer的注意。

图2:普通Transformer与显式稀疏Transformer的注意比较及显式稀疏Transformer注意模块的说明。在基于top-k选择和softmax函数的掩码中，只有贡献最大的元素才具有概率。

显式稀疏Transformer仍然基于Transformer框架。不同之处在于自我关注的实施。通过top-k选择，注意退化为稀疏注意。这样，最有助于引起注意的部分被保留下来，而其他无关的信息被删除。这种选择性的方法在保留重要信息和去除噪声方面是有效的。注意力可以更多地集中在对价值贡献最大的因素上。在接下来的文章中，我们首先介绍了自我注意的疏离化，然后将其扩展到语境注意。

显式稀疏Transformer首先生成注意分值P，如下图所示: