Mean Teacher的调研与学习

0 FQA:

Q1,什么是Mean Teacher? MT的训练方式是怎样的?
A1: Mean Teacher是一种基于一致性正则化的半监督学习框架,从Π-model时序集成演化而来。该模型由一个教师模型和一个学生模型组成,两者使用相同的网络结构。在训练过程中,该方法对学生和教师模型添加不同的扰动,并通过最小化二者的输出差异训练模型,使模型在不同扰动下的输出结果仍具有一致性,从而有效提升模型的泛化能力。

Q2:为什么叫平均教师?
A2: 因为在MT模型的训练过程中,Mean Teacher 首先对学生模型进行训练,并利用梯度下降法更新其模型参数,其次计算学生模型参数的指数移动平均值,并将计算结果更新为教师模型的参数由于教师模型是连续若干训练step产生的学生模型的平均值,我们称之为平均教师方法。

Q3: MT与时序集成的不同点在哪?
A3: 与 Temporal Ensembling 方法的不同之处在于,Mean Teacher 并未对模型的输出结果进行操作,而是关注于对模型参数的处理。

Q4:后续的引用MT的文章中,都有那些创新思路? 比如说对着Mean Teacher结构上是如何创新点等等?
A4:感觉mean teacher 的变化形式特别的多,我先对着mean teacher为主题进行调研,再来回答这个问题。

1 Mean Teacher

Mean Teacher 论文名 Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results
论文地址链接:https://arxiv.org/pdf/1703.01780.pdf

1.1 Mean Teacher简介

Mean Teacher 是一种半监督学习方法,是在方法 Π-Model 和 Temporal Ensembling 之上做了一些改进。 Π
-Model 和 Temporal Ensembling 方法都是用了单个模型,而 Mean Teacher 是用了两个模型。 Teacher 的学习方法是参数进行动量更新。Student 则是普通的学习方式。

1.2 回顾Π-Model 和 Temporal Ensembling

  • Π-Model 对一个 Batch 的数据做两次不同数据增强(例如两次不同的噪声),然后把两次不同数据增强后结果分别输入到同一个模型中,最终的损失函数对于有类标的样本是一个数据增强和类标的交叉熵,另一个是两个数据增强输出的最小二乘损失,对于无类标样本是两个数据增强输出的最小二乘损失。
  • Temporal Ensembling 和 Π-Model 基本上是一样的,区别在于一个样本在一个epoch中只需要进行一次数据增强即可。原始的模型计算两个损失项以充分利用无标签数据,第一项是带标签数据输入模型后的预测值与标签的交叉熵损失,第二项是对无标签数据施加两种不同的干扰(数据增强),理论上施加数据扰动后的属性值应该不变,这时候就使用均方差损失函数计算两个预测值之间的“距离”。这种思想其实是自监督学习的思想,然后被移植到半监督学习领域了。但是,每一次的计算都需要进行多次的前向传播,显然这会很耗费时间,而且随着数据的变动,模型参数更新的方向也会增加不确定性。为此,引入了集成模型的思想,而且是时序集成,即将Π模型的zi 视为过去若干step预测值的集成,而非单一模型的预测值。这样能够充分利用模型学习的过往经验,使得整个预测过程更具有鲁棒性。集成模型的思想很常见,如Adaboost, dropout等。很显然,这是一个以空间换时间的策略,因为要开辟一定的内存空间存放历史的预测值,但是对缩短训练时间的贡献是卓越的。

Q: Because the targets change only once per epoch, Temporal Ensembling becomes unwieldy when learning large datasets. 怎么理解?
_A:_应该是代表zi 要等一个epoch遍历后才能得到更新,实际上无标签数据的预测属性值是和很久远的平均状态进行对比,而不是跟当前步最新的平均状态进行对比。在面对大型数据集时会显得“迟钝”。

image.png

1.3 Mean Teacher

在 Mean Teacher 这篇论文中,加入了知识蒸馏中 Teacher 和 Student 的概念来解释其方法。这里面的 Student 表示直接和正确类标计算交叉熵的一组数据增强输入,另外一组只计算最小二乘损失的数据增强输入为 Teacher(因为 Teacher 不再从原始输入中学习了嘛)。

为了克服时序集成(Temporal Ensembling)的局限性,我们采用平均模型权重而不是平均模型预测的方法。
由于教师模型是连续若干训练step产生的学生模型的平均值,我们称之为平均教师方法。平均模型权重往往会产生一个比直接使用最终权重更精确的模型。教师模型使用学生模型的EMA权重,而不是与学生模型共享权重。
现在它可以在每一个step完成后即刻聚合之前学习到的所有信息,而不仅仅在每一个epoch。此外,由于EMA提高了所有层的输出质量,而不仅仅是最后一层的输出,因此模型能够更好地表征中层乃至高层语义信息。这些方面早就了该模型相对于Temporal ensemble的两个优势。
首先,更准确的标签使学生和教师模型之间发生更快的反馈循环,从而产生更好的精度。其次,这种方法适用于大型数据集和在线学习。

image.png
形式化描述,Student 和 Teacher 的损失函数为:
image.png
其中 θ和θ’分别是 Student 和 Teacher 的模型参数,η和η’分别是 Student 和 Teacher 的噪声扰动,Teacher 模型参数的更新方法是:
image.png

参考:
【论文阅读笔记:Mean teachers are better role models】
https://zhuanlan.zhihu.com/p/467917019
【Mean teacher 论文阅读】
https://zhuanlan.zhihu.com/p/526985640

  • 27
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值