attention 笔记

https://www.pudn.com/news/62aaf72ca11cf7345fa716a7.html

论文1：
LOCAL INFORMATION MODELING WITH SELF-ATTENTION FOR
SPEAKER VERIFICATION
改进1：用local attention 取代全局attention，因为全局attention不能很好地捕捉局部信息，而说话人验证这种任务通常更关注相邻帧的信息。local attention的做法是对关注的帧（也即相邻帧）之外的帧全部抹零。这种硬截断的方法虽然有效，但不好实验出到底抹掉多少帧才是最适合的。因此作者假设随着距离远近，不同帧对当前帧的影响大体遵从一个高斯分布，这种称为软截断。工程上减少了试验次数，且效果优于硬截断。
改进2：卷积的局部建模能力是公认的。conformer也比传统的transformer效果更好。作者尝试将卷积层应用在self-attention的不同部位。1、让卷积层取代全连接层生成kqv。2、让卷积层取代feed forward层中的全连接层。最后实验出来取代feed forward效果较好。conformer的效果最差。

改进1和改进2结合起来效果最优。
缺点：作者并未探究参数量的影响