目录
人们研究了多种注意机制来提高其表现各种计算机视觉任务。然而,先前的方法忽略了保留信息的意义在于渠道和空间两个方面加强跨维度互动。因此,我们提出了一种全局注意力机制,通过减少深度神经网络的注意力来提高深度神经网络的性能信息缩减,放大全局交互表征。我们引入了多层感知器的三维排列,沿边的通道注意卷积空间注意子模块。对提议的评价CIFAR-100和ImageNet-1K上图像分类任务的机制表明我们的方法稳定地优于最近的几种注意力机制ResNet和轻量级MobileNet。
近年来,注意机制的提高在多种应用中,并引起了研究兴趣。使用编码器-解码器残余注意模块对特征图进行细化,以获得更好的性能。SENet是第一个使用通道注意和通道级特征融合来抑制不重要的通道。然而,它在抑制不重要的像素方面效率较低。后来的CBAM注意机制同时考虑了空间维度和通道维度。然而,它们都忽略了通道-空间的相互作用,从而失去了跨维信息。考虑到跨维度交互作用的重要性,TAM通过利用每对三维通道、空间宽度和空间高度之间的注意权重来提高效率。然而,注意操作仍然每次应用于两个维度,而不是所有三个维度。为了放大跨维度的交互作用。本文研究注意机制跨越空间通道的维度,提出了一种“全局”注意机制,保留信息以放大“全局”跨维度的相互作用,在所有三个维度上捕捉重要特征的注意力机制。命名为全局注意机制(GAM)