attention结构理解。

attention结构理解。

一、概念

1.起源

2.定义。

注意力机制（Attention）没有特别严格的限制，只要是从画面大量信息中提取出有用的核心信息，就能算做是attention机制。

（比如传统的局部图像特征提取、滑动窗口等方法都可以看作是注意力机制。）

注意力机制通常是一个另外的一个神经网络，给输入的不同部分分配不同的权重。

3.意义

给重要的部分分配更大的权重，能够使模型的性价比更高。

4.种类

（1）空间维度：inception-v1（google-net）

（2）通道维度：SE-BLOCK

 

二、代码实现

http://blog.csdn.net/guotong1988/article/details/82902268