方法记录。。

****SA-NET: Shuffle Attention For Deep Convolutional Neural Networks
论文地址：https://arxiv.org/pdf/2102.00240.pdf
将输入特征分成组，每一组的特征进行split，分为两个分支，分别计算channel attention和spatial attention，两种attention都使用可训练的参数。将两个分支的结果concat到一起然后合并，得到与输入尺寸一样的feature map。最后，用一个 shuffle 层进行通道 Shuffle。
==========是否可以对时间和空间都进行attention，同时get到两种方式的优点。
****MUSE: Parallel Multi-Scale Attention for Sequence to Sequence Learning[3]
论文地址：https://arxiv.org/abs/1911.09483
主要解决的是 Self-Attention（SA）只有全局捕获能力的缺点。如下图所示，当句子长度变长时，SA 的全局捕获能力变弱，导致最终模型性能变差。因此，作者在文中引入了多个不同感受野的一维卷积来捕获多尺度的局部 Attention，以此来弥补 SA 在建模长句子能力的不足。
==========是否可以对帧之间用不同的感受野