Mean Teacher学习笔记(一)
模型的核心思想:模型即充当学生,又充当老师。作为老师,用来产生学生学习时的目标,作为学生,利用老师模型产生的目标来学习。
为了克服Temporal Ensembling的局限性,我们建议平均模型权重而不是预测。教师模式是连续学生模式的平均值,因此我们叫它Mean teacher。与直接使用最终的权重相比,将模型权重平均到训练步骤会产生更准确的模型,在训练中可以利用这一点来构建更好的目标。教师模型使用学生模型的EMA权重,而不是与学生模型共享权重。同时,由于权值平均改善了所有层的输出,而不仅仅是顶层输出,目标模型有更好的中间表示。
—————————————————————————————————————————
通过梯度下降更新student模型的权重后,教师模型的权重被更新为学生权重的指数移动平均值。两个模型的输出都可以用于预测,但在训练结束时,教师预测更有可能是正确的。
—————————————————————————————————————————
定义一致性代价
J
J
J为学生模型预测和教师模型预测之间的期望距离:
我们定义在训练步骤
t
t
t中
θ
t
′
\theta'_{t}
θt′是连续权值
θ
\theta
θ的EMA值:其中
α
\alpha
α是平滑系数超参数