软注意力和硬注意力的相关概念与图例

目录

 注意力机制（attention）

 软注意力机制（Soft Attention）

 硬注意力机制（Soft Attention） 

Sample层

---

                现在大家基本都很了解self-attention（自注意力机制），对于注意力以及软注意力和硬注意力（Soft&Hard Attention）知之甚少，网上的视频解释和图像解释也比较少。这里作者根据一篇博客的理解解释一下相关概念，详情可见原文。“Soft & hard attention” (jhui.github.io)https://jhui.github.io/2017/03/15/Soft-and-hard-attention/

 注意力机制（attention）

        LSTM 模型和注意力模型之间的主要区别在于，“注意力”关注特定区域或对象，而不是平等地对待整个图像。

                        这里图中的h&X作为注意力机制的输入，Z作为注意力机制的输出。

 软注意力机制（Soft Attention）

        图中C作为h输入进attention，与每个X进行计算得出对应的s

         s经过softmax层后分别与各自的X相乘并累加得到Z，相当于是计算x的加权平均值

                         

 硬注意力机制（Soft Attention） 

在硬注意力机制中，Sample层前面的操作与软注意力机制的操作一致

Sample层

        与软注意力机制不同的是，sample层不取加权平均值，而是把softmax计算所得的各个a作为样本率，选取概率最大的输入样本Xi作为Z。