注意力机制

参考b站视频

注意力机制是用在循环神经网络当中，具有时序关系。
原文来自于：《attention is all you need》
自注意力机制就是在大量的信息当中筛选出需要的信息，也可是理解成为特征提取。
依附于神经网络，通过给每部分进行权值分配来筛选信息。空间维度和通道维度

在通道维度上面的使用：

X为输入数据，U为经过卷积神经网络后输出数据，其中C为通道数
其中1到2的转化就是实现了道通维度上面的自注意力机制，实质上就是对每一个通道赋予一定权重，来着重进行信息提取。
对于权重的赋值如上图也可知，是需要先进行转换成为1x1xC类型的，然后得到每一个通道的权重，再对每一个通道乘上想对应的权值。
具体是实现过程是如下的：


关于第二个操作的具体实现如下图所示：

。