1. Introduction
注意机制起源于对人类视觉的研究。在认知科学中,由于信息处理的瓶颈,人类只能注意到所有可见信息的一部分。受这种视觉注意机制的启发,研究者们试图寻找视觉选择性注意模型来模拟人类的视觉感知过程,从而模拟人类在观察图像和视频时的注意分布,并扩展其应用。
以计算机视觉领域为例,深度学习与视觉注意机制相结合的研究大多集中在mask的使用上。mask的原理是将图像数据中的关键特征用另一层新的权值来识别。通过学习和训练,深度神经网络可以学习到每一个新图像中需要注意的区域,从而形成注意。
这个想法进一步发展成两种不同类型的注意:软注意和硬注意。软注意机制是通过梯度下降实现的,具有可微性和连续性。在神经网络中,注意的权重可以通过前向传播和后向反馈来学习。然而,硬注意机制并不是可微分的,它往往是通过强化学习来实现的,并受到利益函数的激励,使模型更加注重某些部分的细节。
本文将分三部分进行介绍:第一部分是视觉选择性注意的计算模型;第二部分是计算机视觉注意机制模型的分类;第三部分是对现有注意机制的总结和展望。
2. Computational Models of Visual Selective Attention 视觉选择性注意力的计算模型
虽然这种活动是主观的,但不可否认的是,内容的性质对选择性注意有影响,这反映了视觉选择性注