弱监督语义分割相关论文——对CAM的生成过程进行改进

前言

在弱监督语义分割中，对CAM的生成过程进行改进的论文。
CAM生成过程为标签数据输入分类网络进行训练，因此对CAM的改进也可以进一步分为对数据、分类模型、标签的改进
1、数据：一到五都是对数据进行操作（仿射变换、擦除、拆分、混合标签），再设计损失函数进行约束
2、分类模型：六（损失函数和全局池化）
3、标签：七（聚类细化标签）

一、仿射变换图像结合正则项优化CAM生成

1、文章题目、相关资料
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation（CVPR,2020）
2、解决问题/motivation
对应强监督分割任务来说，如果输入图像经过仿射变换，那么分割标签页应该进行相同的放射变换。将这种性质作为正则项加入到分类模型的训练过程中，从而优化CAM。。
3、方法架构
1、提出了一对共享权重的网络来接受输入，并且设置了如下的损失函数/正则项，让原始图像的CAM经过仿射变换的结果去逼近仿射变换后的图像得到的CAM。
2、提出了一个PCM模块，该模块通过注意力机制来融合CNN特征与CAM，得到优化后的CAM。
3、提出了如下的损失函数，将PCM模块结果与仿射变化模块进行了耦合优化

4、总结收获
4.1、注意力机制可以融合信息

4.2、多个模块之间通过损失函数来进行耦合

二、拆分图像使得CAM关注更多分割区域

1、文章题目、相关资料
Complementary Patch for Weakly Supervised Semantic Segmentation（2021 ICCV）
2、解决问题/motivation
将图像拆分成两个子图像获取CAM，相比原始图像直接获取CAM，更贴近真实的分割区域。

3、方法架构

其中CPN中的PCM和PRCM模块都是通过注意力机制来融合CAM和特征，进而优化CAM。
损失有三种，分类损失