attention综述论文阅读：An Overview of the Attention Mechanisms in ComputerVision

1. Introduction

注意机制起源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类只能注意到所有可见信息的一部分。受这种视觉注意机制的启发，研究者们试图寻找视觉选择性注意模型来模拟人类的视觉感知过程，从而模拟人类在观察图像和视频时的注意分布，并扩展其应用。

以计算机视觉领域为例，深度学习与视觉注意机制相结合的研究大多集中在mask的使用上。mask的原理是将图像数据中的关键特征用另一层新的权值来识别。通过学习和训练，深度神经网络可以学习到每一个新图像中需要注意的区域，从而形成注意。

这个想法进一步发展成两种不同类型的注意:软注意和硬注意。软注意机制是通过梯度下降实现的，具有可微性和连续性。在神经网络中，注意的权重可以通过前向传播和后向反馈来学习。然而，硬注意机制并不是可微分的，它往往是通过强化学习来实现的，并受到利益函数的激励，使模型更加注重某些部分的细节。

本文将分三部分进行介绍:第一部分是视觉选择性注意的计算模型;第二部分是计算机视觉注意机制模型的分类;第三部分是对现有注意机制的总结和展望。

2. Computational Models of Visual Selective Attention 视觉选择性注意力的计算模型

虽然这种活动是主观的，但不可否认的是，内容的性质对选择性注意有影响，这反映了视觉选择性注