[论文阅读笔记22]Pseudo-Label：简单有效的半监督学习方法

题目：

Pseudo-Label：The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks

年份：2013

作者：

Dong-Hyun Lee
Université de Montréal — 蒙特利尔大学–加拿大

论文链接：

https://www.researchgate.net/profile/Dong-Hyun-Lee/publication/280581078_Pseudo-Label_The_Simple_and_Efficient_Semi-Supervised_Learning_Method_for_Deep_Neural_Networks/links/55bc4ada08ae092e9660b776/Pseudo-Label-The-Simple-and-Efficient-Semi-Supervised-Learning-Method-for-Deep-Neural-Networks.pdf

代码链接：

https://github.com/iBelieveCJM/pseudo_label-pytorch

文章的主要想法是self-training；

模型

以前使用未标注数据分两步走：
第一步unsupervised pre-training;
第二步fine-tuning.

而本论文所研究内容为：监督与非监督同时使用同一个网络。

Pseudo-Labels的步骤：

第一步：运用训练出的模型给予无标签的数据一个伪标签。方法很直接：用训练中的模型对无标签数据进行预测，以概率最高的类别作为无标签数据的伪标签；
第二步：运用entropy regularization思想，将无监督数据转为目标函数的正则项。实际中，就是将拥有伪标签的无标签数据视为有标签的数据，然后用交叉熵来评估误差大小。

Pseudo-Label是对未标签数据的一个预测，选择预测结果概率最大分类作为未标注数据的标签，假设这个标签是真的一样，故叫伪标签，如下的定义：

fi’(x)表示神经网络的输出,文件介结的为全连接神经网络。上式的意思是取到模型中预测概率最大的那个分类，假设这个分类是对的，也就作为了数据的标签，区别于人工标的，这个叫伪标签。

损失函数：

n是SGD中有标签数据的mini-batch大小

n’是SGD中无标签数据的mini-batch大小

上式分两部分，第一部分是有标签数据的损失函数；第二部分表示伪标签数据的损失函数；所使用的公式L（.）一样的，交叉熵损失函数，不同的就是输入函数的数据，前面输入的人工标注的数据，后面输入的是机器预测的伪标注数据。

另外，在两部分合并时，采用了一个a的权重控制，这个作用是用来衡量无标注与有标注这者的重要性情况，最后达到模型最好的结果，这个设计也是比重要的，如果权重大，无标注数据信息就对有标注数据进行了影响；太小的，起的作用就很有限了。论文设计的进采用退火算法的思想，权重慢慢上升，具体的公式为：

为什么伪标签模型有效？

（1）低密度分离

聚类假设指出，决策边界应该位于低密度区域，以提高泛化性能。

（2）熵正则化

这个熵用于度量类间的重叠。随着类间重叠的减少，决策边界上的数据点密度降低。

（3） 使用伪标签作为熵正则化的训练

带与不带Pseudo-Label的效果对比。

实验结果

数据集：MNIST

把标注数据减少为100，600，1000，3000。比较了其它论文的结果，相对于传统的方法，这种新的半监督方法获得了很好的效果。

总结

可谓是一篇非常经典的半监督学习方法，简单得来又有效。就喜欢这种含有创新及直接了当的方法，感受到一种灵活的脑袋在不停动转。

一直都相信有聪明的人，这样的人在危急的时候就会出现。

参考

【1】Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks， https://www.yuque.com/xf015y/nszw79/ybnrc4

【2】我们真的需要那么多标注数据吗？半监督学习技术近年来的发展历程及典型算法框架的演进 ，https://www.sohu.com/a/397178060_500659

happyprince; https://blog.csdn.net/ld326/article/details/114121015