python attention机制_推荐系统与深度学习（三）——Attention机制原理​

注意力机制模仿了人类观察事物的过程，将其应用到深度学习中，人观察事物会分为两个过程：扫描全局，获取重点关注区域；对重点关注区域深化研究，并抑制其他无用信息。

如上图，查看整个图形分两步：扫描重点文字，重点观看文字。

注意力机制沿用了这一思路：先通过一个深度学习框架，实现扫描重点信息的功能，将重点信息存储在一个中间网络中，然后再通过另一个深度学习框架解读并深化中间网络中的信息。这其中，最普遍的框架为：Encoder-Decoder框架。

注意力机制价值

注意力机制就是对输入的每个元素考虑不同的权重参数，从而更加关注与输入的元素相似的部分，而抑制其它无用的信息。其最大的优势就是能一步到位的考虑全局联系和局部联系，且能并行化计算。