一种新型的注意力机制——signed-attention

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

2020年，来自北京邮电大学可信分布式计算与服务实验室的团队提出了一种新型的注意力机制——signed-attention。该机制首次于[1]中提出，让我们看到了注意力机制除了“数值大小”以外的可能性。

[1]中提出的signed思想指出，注意力机制可以是有符号的，该思想同时关注注意力分数的“数值大小”和“符号正负”，通过两个通道求解正负两个空间上的注意力分布。signed思想有着强大的扩展性，可以与各类现有attention进行组合，完成性能的提升。由传统attention变为signed-attention，仅需要少量的代码改动，这么简单方便的机制，你心动了么？下面我们来好好聊聊什么是signed以及其优势

一、signed的motivation

先来看看传统的注意力机制。注意力机制从本质上来说，和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。通俗来看，就是模型自动学习source元素的注意力权重分布。

根据《Attention is All You Need》[2]，传统attention机制分三步走：（1）利用Query和Key计算相关性分数；（2）通过softmax，利用相关性分数计算每个Key对应Value的权重系数；（3）对Value进行加权求和得到Attention Value。