Semi-supervised semantic segmentation needs strong, varied perturbations

半监督

该论文是一篇BMVC 2020的文章。
PDF: Semi-supervised semantic segmentation needs strong, varied perturbations
code: https://github.com/Britefury/cutmix-semisup-seg

Motivation

Semi-supervised learning 指的是 对于一个数据集，由于标注是费时且麻烦的，只有部分样本是有标签的，其余样本无对应可用标签。其中 Consistency regularization 在半监督学习中是一类常用的方法，它的核心是** 对于用不同方式扰动后的无标签输入，网络能给出一致的预测结果**。
Consistency regularization 的有效性得益于smoothness assumption或者** cluster assumption**。smoothness assumption是指相互接近的样本有可能有相同的标签。** cluster assumption**指出决策面应处于数据分布的低密度区域。半监督通常是结合标准的监督损失项（如交叉熵损失）和无监督的一致性损失项（鼓励对无标签的样本扰动后产生一致的预测）。本文的主要工作是通过结合数据增强方式CutMix来进行半监督图像分割。

下面先介绍下本文提到的几种数据增强方式：

Proposed method

1. 网络结构
teacher network： gφ； student network: fθ

Cutout

初始化一个全为1的mask M, 同时随机选择一个矩形框 ，并将其中的元素值设为0。为了将Cutout应用到语义分割任务中，用M掩盖了输入像素，从而忽略了被M掩盖为0的像素的一致性损失。Cutout作为一种较强的数据增强方式，可以应用教师网络gφ对原始图像产生一个伪标签，从而用于训练学生网络fθ。采用平方距离作为度量标准，该一致性损失可以表示为：

CutMix

cutmix需要两个输入图像，可表示为xa和xb，用掩码M来进行混合。作者mix教师网络对这两个输入的预测结果gφ(xa)，gφ(xb)，从而产生一个伪标签来监督学生网络对于混合后的图像的预测结果。mix操作可表示为：

于是，一致性损失可以表示为：

2. 训练方式
使用交叉熵作为监督损失Lsup，以及使用Mean teacher算法计算一致性损失Lcons。

思考
文章中使用mean teacher模型以及cutmix作为数据扰动方式从而计算一致性正则化损失来进行半监督语义分割，思路可以借鉴。
(recoded by xt)