神经网络 || 注意力机制的算法图示和推导

1 注意力机制是什么？

0. 注意力模型，最近几年在深度学习各个领域都有应用。
1. 注意力机制是深度学习常用的一个小技巧，它有多种多样的实现形式，尽管实现方式多样，但是每一种注意力机制的实现的核心都是类似的，就是注意力。
2. **核心：让神经网络关注到我们更需要它关注的地方。**关注更核心的部分，抑制其他无用的信息。

2 多输入怎么处理？

1. 对于一个属性的输入，普通神经网络可以解决。
2. 但是如果这个输入是多维的数据呢？而且输入的序列长度都不确定呢？

3 self-attention的图示

• 如何根据多个输入，得到多个输出
  
  
  

4 自己整理一下self-attention的算法过程

1. 目标：从$\alpha 1$、$\alpha 2$、$\alpha 3$、$\alpha 4$（这四个是输入）得到$b^1$、$b^2$、$b^3$、$b^4$（这四个是输出）
   
2. 每一个输入都分出q k v 三个值
   
3. 计算${\alpha }_{1,1}^{\prime }$等等

4. $b_1$是${\alpha }_{1,1}^{\prime }$×$v^{\prime }$等等四个求和得到的

5. 同理计算$b_2$、$b_3$、$b_4$

• 下面用矩阵的思想，来并行计算上面的内容。
  
  
  
• 做softmax不是唯一的，也可以relu