论文阅读：2021.11.23~2021.12.1

写在前面：本篇博客只是记录本人在这周看论文的过程中的一些思考，没有一点儿教程或其他意思，由于时间不够，某些细节的部分必然不会那么详细，分享出来就是想着能帮到看到的人也算是一件幸事，想了解细节的小伙伴还是建议去读原文。由于本人也是初学者，如果有理解不到位的地方还请路过的大佬不吝赐教。

Multi-Layer Pseudo-Supervision for Histopathology Tissue Semantic Segmentation using Patch-level Classification Labels

论文下载：https://arxiv.org/abs/2110.08048
源码地址： https://github.com/ChuHan89/WSSS-Tissue（目前尚未开源）

如上图所示为作者提出的算法框架，其主要流程如下：

1. 训练一个分类网络（ResNet38）
2. 从分类网络中提取Grad-CAM得到pseudo label
3. 用pseudo label训练全监督的语义分割模型（DeepLab V3+）

以下为作者提出的几个用于提高性能的机制：

PDA（Progressive Dropout Attention）

由于分类网络会将注意的区域逐渐缩减到整张图中最值得其注意的部分，这些部分可以帮助分类网络更好的优化分类损失，然而对于弱监督的语义分割这可不是一个好消息，因为这会使从分类网络中提取的出来的CAM过分的关注于那些最值得注意的地方，从而降低了生成的pseudo label的质量。那么一个朴素的想法就是：既然分类网络只需要关注那些最值得注意的地方就可以很容易的优化分类损失，而懒得去关注该物体的其他部分，我们就人为的将那些feature map中响应大于一定阈值的地方给其置0（失活一些区域），从而人为的增加分类网络的难度，不让它只关注最值得注意的区域来“赚快钱”，这样分类网络就被迫去关注图片中第二值得注意的地方，从而增大了CAM中对于对应物体的高亮部分。上述思想便是Dropout Attention的思想，而作者在本文中提出的**PAD（Progressive Dropout Attention）**更是想方设法为难分类网络，上述过程中的阈值是固定的，也就是分类网络除了关注最值得注意的区域又去关注一下第二值得注意的部分就得了，但作者认为这样还不够，作者的做法是随着训练的进行不断的增加失活的区域，直到这个区域的大小打到一个阈值便不再增加，迫使分类网络不断地关注一个物体的其他区域（如对于猫的种类分类网络先关注猫的头部，然后这个区域被失活了，分类网络可能有去关注躯干部分来优化分类损失，但这个部分又被失活了，分类网络就只能再去关注四肢的部分），从而生成更完整的CAM，值得注意的是，这样做必然会损失分类的性能，但后面作者的实验表明这样做会使分类准确率降低1%确会使分割性能提升2%，所以是很划算的一笔交易。
Dropout Attention的公式如下：




PDA的公式如下：

MLPS（Multi-Layer Pesudo Supervision）

众所周知，在卷积神经网络中，前面的卷积层提取的多是一些纹理、边缘等蕴含丰富空间信息的细节特征，而靠后的卷积层提取的主要是语义信息，空间信息有所缺失，只用后面的卷积层提取Grad-CAM难免会因为缺失空间信息而使生成的pseudo label在边界处的质量不够高，因此作者便提出一种多层pseudo supervision的机制，用从前面中间和后面的卷积层提取Grad-CAM生成pesudo label作为语义分割网络的监督信号，最终的损失由三者加权计算得到（后面的卷积层占比更大）。

在这里作者设置${\lambda }_1=0.2,{\lambda }_2=0.2,{\lambda }_3=0.6$

Classification Gate Mechanism

在医学影响中，长尾分布是很常见的一个问题，因为总会有一些类别的样本的数据很少，这样就可能会造成结果假阳概率很大，为了降低假阳概率即优化不显著的类，作者提出了一种Classification Gate机制，这个想法的依据是作者经过观察发现，分类网络的结果比分割网络的结果更可信因为分类网络是用ground truth训练的而分割网络是用分类网络中提取出来的Grad-CAM生成的pseudo label训练得到的，该机制的具体过程如下：如果对一个patch，我们发现分类网络对某个类别的预测概率很小，我们就认为这个类不存在，那么在分割模型的分割结果中我们也给该类的mask置0。


仅仅从可视化的结果看，前面的两个模型结果惨不忍睹啊。

HistoSegNet: Semantic Segmentation of Histological Tissue Type in Whole Slide Images

Weakly-Supervised Semantic Segmentation via Sub-category Exploration

论文下载：https://faculty.ucmerced.edu/mhyang/papers/cvpr2020_wsss.pdf
源码地址：https://github.com/Juliachang/SC-CAM

本篇论文的思想比较简单，其也是通过给最初的分类网络一定的限制，使其可以关注到更多的地方，从而优化最初生成的response map。其算法框架如下：

主要流程为：

1. 在ImageNet上对分类网络（ResNet38）进行预训练并在Pascal VOC 2012数据集上进行finetune。
2. 用上述分类网络的特征提取器对每个类别的图像提取特征并保存。
3. 对上述提取到的特征进行聚类将每一个parent class分为K个sub-categories，用聚类的结果对每一张图片打上sub-category level的pseudo label。
4. 用parent class和sub-category level pseudo label训练一个分类器和一个子类分类器，他们共享一个特征提取器。
5. 重复4， 5的过程三次
6. 用训练好的分类网络提取CAM，refine CAM（random walk，dense conditional random fields），生成分割的pseudo label。
7. 用分割的pseudo label训练一个全监督的语义分割模型（Deeplab-v2 framework with the ResNet-101 as backbone）