More Unlabelled Data or Label More Data? A Study on Semi-supervised Laparoscopic Image Segmentation

笔记More Unlabelled Data or Label More Data? A Study on Semi-supervised Laparoscopic Image Segmentation

来源：MICCAI workshop 2019 arxiv

摘要

1）改进半监督图像分割的常见选择：使用更多的未标注数据，标注未标注的数据，两者的结合。
2）在腹腔镜肝脏分割应用中，探索在使用基于mean teacher 学习的半监督分割算法中改变标注数据和未标注数据的数量对分割性能的影响。
3）结果：与监督学习相比，显著更高的分割准确率；增加的未标注数据和半监督算法中的训练策略都会导致性能的提升。

方法

mean teacher参考资料
mean teacher利用一致性正则来进行半监督学习。一致性正则要求一个模型对相似的输入有相似的输出，即给输入数据注入噪声，模型的输出应该不变，模型是鲁棒的。

基于mean teacher方法，将性能的变化分解为由网络变化（培训和架构）引起的影响和通过添加未标记的数据引起的影响。mean teacher方法对模型权重求平均值，以产生扰动的预测，作为伪标签来规范化训练，该策略可以使用或不使用真实标签。

监督分割网络结构

实验中使用的范例模型：U-Net的变体

基于半监督的 mean teacher训练

mean teacher结构

输入：
结构相同、输入噪音和网络权重不同的分割网络：
student网络
teacher网络
分割损失
分割损失由2部分组成：有标注样本的监督损失和无标注样本的无监督损失，两者均是基于两类的soft Dice loss计算，前者衡量预测的样本标注与真实标签的一致性，后者衡量student网络和teacher网络的预测的一致性。
student网络的权重更新：分割损失基于网络权重的梯度的反向传播更新得到
teacher网络的权重更新：student网络训练时每个step后，基于指数滑动平均法更新

图像输入的噪音的设计：
使用空间域的随机仿射变换作为输入的噪音。1、2两种噪音输入分别针对有标注样本的监督损失和无标注样本的无监督损失。第一种仿射变换被用于有标注数据在student网络的预测结果及其的真实标注，第二种仿射变换被用于无标注数据在student网络的预测结果及其在teacher网络的预测结果。

网络训练

损失函数中的λ的设置： β逐渐增加，L=1000为ramp-up长度，S为当前epoch内的step次数。
MEA中衰减系数α的设置：初始ramp-up阶段设置为0.99，之后固定为0.999.

结果

监督模型与mean teacher模型结果比较