【论文粗读】Semi-Supervised Semantic Segmentationwith High- and Low-level Consistency

TPAMI2021  具有高、低一致性的半监督语义分割

代码地址：GitHub - sud0301/semisup-semseg

摘要：

使用两个网络分支，将半监督分类与包括自训练在内的半监督分割联系起来。双分支方法减少了使用少量标签进行训练时典型的低水平和高水平伪影。

来自P ASCAL VOC数据集的图像(a)及其groundtruth分割掩码（b）。预测（c）通过5%标记样本的监督训练获得。使用其他95%的未标记图像，我们基于GAN的分支改进了形状估计（d）。第二个分支通过消除误报（e）来增加高级一致性。（f） 显示在100%像素标记样本上训练时的输出。

网络框图

整体思路

利用分类来辅助分割，通过MLMT网络来进行分类，用好的分类网络来挑选分割结果，把不需要的类别赋予较小的权重来解决一开始提到的伪影现象。

s4GAN Branch是一个基于GAN的分割网络，里面还包括一个self-training loss 来平衡D和G的生成，思路就是选取无标签图像的可靠预测，来当做伪标签进行监督训练。因此D有两个输出，一个是用分数来作为预测分割质量的置信图。一个是判断真假的判别输出。

MLMT Branch是一个基于老师学生网络的半监督网络