论文标题:
Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results
Antti Tarvainen(芬兰,阿尔托大学), Harri Valpola (The Curious AI Company) 作者有一句话***“目前在用的所有人工智能都是二流的”***
The Curious AI Company公司是一家芬兰深度技术初创公司,宗旨是为未来打造自主AI。这个学校的校徽还是比较有意思的:
论文链接:
https://arxiv.org/pdf/1703.01780.pdf
代码链接:
https://github.com/CuriousAI/mean-teacher
Slider:
https://github.com/CuriousAI/mean-teacher/blob/master/nips_2017_slides.pdf
NIPS 2017 poster
这个思想也是一致性原则
是论文《TEMPORALENSEMBLING FORSEMI-SUPERVISED LEARNING》的一个延伸。
算法流程
**第一步,**构建一个普通的监督模型;
第二步,把监督学习模型对它copy一份,原模型叫做student,另一个叫teacher;
第三步,在每训练步中,使用同样的minibatch输入到student与teacher模型中,但在输入数据前分别加入随机增强或者噪音;
第四步,加入student与teacher输出的一致性损失函数(consistency cost);
第五步,优化器只更新student的权重;
第六步,每个训练步之后,采用student权重的EMA更新teacher权重;
指数平移平均法更新。
Mean Teancer, П-model, Temporal ensembling对比
先把它们的模型框架图放在一下
П-model, Temporal ensembling前一篇作了介绍。这里从图来看一下,大的框架思路基本是一样。可以看成是П-model中的两次计算中模型换成了两个不同的模型,一个叫teacher,一个叫student; 另外,也可以看成作Temporal ensembling的改进版,在Temporal ensembling中,采用的是每epoch的指数移动平均值来聚合历史数内容,而Mean teacher则是在每训练步进行对Student的权重进指数移动平均;
实验结果
总结
比较单纯的一篇论文,来自一个很有激情的CEO,一心想把理论应用于实践。
比较喜欢这种论文,就为了解决一个问题,不想谈其它乱七八糟的内容,效果看数据分析。
参考
【1】长文总结半监督学习(Semi-Supervised Learning),https://zhuanlan.zhihu.com/p/252343352
happyprince; https://blog.csdn.net/ld326/article/details/114107687