【Attention】Deep Learning Technology

本文主要记录attention机制的一些资料
spatial attention，channel attention，and temporal attention属于通用性的层，可以借鉴到不同任务的网络中，attention的机制映像中早在14年就出现过，最初是通过RNN去预测position。近两年发展的更加成熟了，如SENet就属于channel attention，DANet同时用了spatial & channel attention，这些attention可以有不同的实现方式，目的有两个：一是使得feature map对重要的区域更加concern，二是一定程度上起到加速的作用，比如attention判断为0的区域就避免了计算。在网络结构的设计中非常值得尝试！！！

一、开山

《Attention Is All You Need》解读
如何理解谷歌团队的机器翻译新作《Attention is all you need》
注意力机制(Attention)最新综述论文及相关源码
Transformer模型笔记

二、spatial attention

三、channel attention

四、temporal attention

五、教程

搞懂Transformer结构，看这篇PyTorch实现就够了！

一、资料

几篇较新的计算机视觉Self-Attention
Pervasive Attention：用于序列到序列预测的2D卷积神经网络
FAGAN：完全注意力机制（Full Attention）GAN，Self-attention+GAN
模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用
【谷歌机器翻译破世界纪录】仅用Attention模型，无需CNN和RNN》

模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用

CVPR2019 | 全景分割：Attention-guided Unified Network
Attention isn’t all you need！BERT的力量之源远不止注意力

学界 | ICLR 2019 遗珠？加大号「变形金刚」，Transformer-XL

代码：
tensorflow-attention