自学历程07-CA注意力机制

引言

        传统的注意力模型，如通道注意力（Squeeze-and-Excitation, SE），尽管在提升网络性能方面取得了显著成效，但它们主要关注于通道级的特征重标定，忽略了空间维度的位置信息。SE机制通过全局平均池化挤压空间维度，导致重要空间细节信息的丢失，特别是在处理具有复杂空间结构的图像时。而CBAM（Convolutional Block Attention Module）虽然试图通过并行的空间和通道注意力模块来增强模型的表征能力，但其处理空间信息的方式相对简单，可能不足以捕捉图像中复杂的空间依赖关系，且增加了模型的计算复杂度。为了解决这一问题，研究者提出了坐标注意力机制（Coordinate Attention, CA），旨在将位置信息融入通道注意力中。坐标注意力机制通过在两个空间维度（高度和宽度）上分别进行注意力的计算，能够更精确地捕捉到图像中的空间分布特征，从而更全面地捕获特征间的依赖关系。

一、CA注意力机制的结构

       CA注意力机制，通过将位置信息嵌入到通道注意力中，来增强移动网络的性能。与通过2D全局池化将特征张量转换为单一特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个1D特征编码过程，分别沿着两个空间方向聚合特征。通过这种方式可以捕捉对视觉任务至关重要的长距离依赖性。CA注意力机制是一种新的并且高效的注意力机制，通过将位置信息嵌入到通道注意力中，使移动网络能够在避免引入显著计算开销的情况下，关注更大的区域。为了减轻2D全局池化造成的位置信息丢失，将通道注意力分解为两个并行的1D特征编码过程，以有效地将空间坐标信息整合到生成的注意力图中