keras cnn注意力机制_自注意力GitHub代码（地址）

keras cnn注意力机制_自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源

论文：https://arxiv.org/abs/1911.03584

GitHub：https://github.com/epfml/attention-cnn

可视化网站：https://epfml.github.io/attention-cnn/

 博客：http://jbcordonnier.com/posts/attention-cnn/

这种算法的优点：

ICLR 2020获评“6-6-6”

这篇论文已经被ICLR 2020接收，评审们给出了3个6分。

一位评审在review中写道：

这篇论文从理论上证明了多头自注意力层可以表示卷积滤波器。

相当关键的是其中使用了自注意力层的相对位置编码。论文中称，这一结果可以扩展到其他形式的位置编码。

不过有一点需要注意，看起来，注意力层的权重需要任意大才能准确表示卷积层。

总的来说，我认为本文朝着了解注意力和卷积层之间的异同迈出了坚实的一步。

另一位评审表示，二次相对编码的推到是一个很好的理论构造。不过，由于作者仅在CIFAR上进行了实验，其贡献还不足以建立新的相对注意力机制。

网友指出这种算法的缺点

自注意力需要耗费大量计算和内存，实际上无法在最小图像之外的任何东西上实现。

参考链接：

keras cnn注意力机制_自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源_weixin_39848998的博客-CSDN博客

Self-Attention自注意力机制_bingo_liu的博客-CSDN博客