注意力机制模仿了人类观察事物的过程,将其应用到深度学习中,人观察事物会分为两个过程:扫描全局,获取重点关注区域;对重点关注区域深化研究,并抑制其他无用信息。
如上图,查看整个图形分两步:扫描重点文字,重点观看文字。
注意力机制沿用了这一思路:先通过一个深度学习框架,实现扫描重点信息的功能,将重点信息存储在一个中间网络中,然后再通过另一个深度学习框架解读并深化中间网络中的信息。这其中,最普遍的框架为:Encoder-Decoder框架。
注意力机制价值
注意力机制就是对输入的每个元素考虑不同的权重参数,从而更加关注与输入的元素相似的部分,而抑制其它无用的信息。其最大的优势就是能一步到位的考虑全局联系和局部联系,且能并行化计算。