UCMT论文学习

论文前置知识

Mean teachers are better role models(NIPS2017)
PseudoSeg(ICLR 2021) geogle
CPC(ECCV 2020)
Cross Pseudo Supervision (CVPR 2021)北大&MSRA
FixMatch：一致性正则与伪标签
交叉熵损失函数

Mean teachers are better role models

Mean teacher是17年提出的模型。给定一个输入图像X，添加不同的高斯噪声后得到X1和X2。我们将X1输入网络f(θ)中，得到预测P1；我们对f(θ)计算EMA，得到另一个网络，然后将X2输入这个EMA模型，得到另一个输出P2。最后，我们用P2作为P1的目标，用MSE loss约束。

损失函数

PseudoSeg

PseudoSeg是google发表在ICLR 2021的工作。他们对输入的图像X做两次不同的数据增强，一种“弱增强”（random crop/resize/flip），一种“强增强”(color jittering)。他们将两个增强后图像输入同一个网络f(θ)，得到两个不同的输出。因为“弱增强”下训练更加稳定，他们用“弱增强”后的图像作为target。

CPC

CPC是发表在ECCV 2020的工作（Guided Collaborative Training for Pixel-wise Semi-Supervised Learning）的简化版本。在这里，我只保留了他们的核心结构。他们将同一图像输入两个不同网络，然后约束两个网络的输出是相似的。这种方法虽然简单，但是效果很不错。

Cross Pseudo Supervision (CPS)

我们可以看到，CPS的设计非常的简洁。训练时，我们使用两个网络f(θ1) 和 f(θ2)。这样对于同一个输入图像X，我们可以有两个不同的输出P1和P2。我们通过argmax操作得到对应的one-hot标签Y1和Y2。类似于self-training中的操作，我们将这两个伪标签作为监督信号。举例来说，我们用Y2作为P1的监督，Y1作为P2的监督，并用cross entropy loss约束。

对于这两个网络，我们使用相同的结构，但是不同的初始化。我们用PyTorch框架中的kaiming_normal进行两次随机初始化，而没有对初始化的分布做特定的约束。当然了，如果设计特定的初始化，没准CPS的效果会更好~

在测试的时候，我们只使用其中一个网络进行inference，所以不增加任何测试/部署时候的开销。

论文翻译

UCMT翻译.

UCNMT网络组成

UCMT由两个主要部分组成：

（1）协同均值教师(CMT)用于鼓励模型分歧并在子网络之间进行协同训练；

（2）不确定性引导区域混合(UMIX)用于根据CMT的不确定性映射操作输入图像，并促进CMT产生高置信度的伪标签。

UCMT结合了UMIX和CMT的优点，在协同训练分割中保留了模型的不一致性，提高了伪标签的质量。

在包括二维和三维模式的四个公共医学图像数据集上进行了广泛的实验，证明了UCMT相对于现有技术的优越性。

CMT协同均值教师

无监督损失LU作为一个正则化项，为标记和未标记数据挖掘潜在的知识。 LU包括两个学生模型之间的交叉伪监督LCPS和从教师引导学生模型的平均教师监督LMTS，具体如下：

Lu=Lcps+Lmts

交叉伪监管。

LCPS的目的是促进两个学生相互学习，加强他们之间的一致性。 LCPS=LCPS1+LCPS2鼓励两个学生子网络f(·；θ1)和f(·；θ2)的双向交互，如下所示，

均值–教师监督

为了避免两个学生交叉督导的错误方向，我们引入了教师模式来指导学生模式的优化。 具体地说，教师模型通过学生模型平均值的指数移动平均值(EMA)来更新：

不确定性指导混合

尽管CMT可以促进协同训练的不一致性，但它也稍微增加了伪标签的不确定性，如图1所示。

另一方面，随机区域退出可以扩大训练分布，提高模型的泛化能力[13,14]。

然而，这种对输入图像的随机扰动不可避免地在新样本中引入噪声，从而恶化了SSL伪标签的质量。

一个子网络可能会向其他子网络提供一些不正确的伪标签，从而降低它们的性能。

为了克服这些缺陷，我们提出了UMIX算法，在CMT产生的不确定性映射的指导下对图像进行处理。 UMIX的主要思想是用输入图像中的前k个最确定（高置信度）区域替换前k个最不确定（低置信度）区域来构造新的样本。