Learning Spatial Regularization with Image-level Supervisions for Multi-label Image Classification

模型框架

特征提取器：使用预训练的卷积神经网络（CNN）模型，如ResNet或VGG，来提取输入图像的特征表示。

空间正则化模块：该模块旨在学习每个标签在图像中的空间位置，并将这些位置信息用于提高分类准确性。该模块由两个子模块组成：

• 位置感知模块：学习每个标签在图像中的位置，它将特征图划分成若干个块，并在每个块中学习一个标签的位置权重。

• 空间注意力模块：利用位置感知模块学习到的位置权重，对特征图进行加权，以提高每个标签的分类准确性。

标签分类器：将经过空间正则化模块的特征图送入多个二元分类器中，每个分类器对应一个标签，输出该标签是否出现在图像中的概率。

 Main Net就是一个ResNet.

在Feature Map进行分支，将其通过fatt注意力机制。得到为未归一化的标签注意值。再利用它softmax来获取空间归一化。

这个fatt步骤为

1. 将输入的图像通过一个卷积神经网络 (CNN) 提取出一系列的特征图。

2. 对这些特征图进行空间金字塔池化 (Spatial Pyramid Pooling, SPP) 操作，得到不同尺度的特征向量。

3. 对每个尺度的特征向量进行 L2 归一化，以消除尺度差异。

4. 对归一化后的特征向量进行全连接层映射，得到一个新的向量。

5. 对新的向量进行 Sigmoid 操作，并与原始特征图进行元素级别相乘，得到增强后的特征图。