Attention模型最初应用于图像识别,模仿人看图像时,目光的焦点在不同的物体上移动。
当神经网络对图像或语言进行识别时,每次集中于部分特征上,识别更加准确。
如何衡量特征的重要性呢?最直观的方法就是权重。
因此,Attention模型的结果就是在每次识别时,首先计算每个特征的权值,然后对特征进行加权求和,权值越大,该特征对当前识别的贡献就大。
更深理解看:
https://blog.csdn.net/jteng/article/details/52864401
Attention模型最初应用于图像识别,模仿人看图像时,目光的焦点在不同的物体上移动。
当神经网络对图像或语言进行识别时,每次集中于部分特征上,识别更加准确。
如何衡量特征的重要性呢?最直观的方法就是权重。
因此,Attention模型的结果就是在每次识别时,首先计算每个特征的权值,然后对特征进行加权求和,权值越大,该特征对当前识别的贡献就大。
更深理解看:
https://blog.csdn.net/jteng/article/details/52864401