基于伪标记的半监督学习方法

本文出自

Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks

1. Introduction
   近几年，人工智能发展迅速，尤其是深度学习的方法，在各种测试中取得了state-of-art的效果。然而目前，深度学习的主要模型都集中在预训练（pretrain）和finetune。一方面预训练是一个无监督的学习过程，而finetune是一个监督学习的过程，两者无法很好地结合（本文的创新点1），另一方面无标记的数据无法利用未标记的样本进行训练（本文创新点2），因此作者就提出了一种伪标记的方式，进行训练。

2. Pseudo-Label method for deep neural network
   2.1 Autoencoder
   文章中的原标题是deep neural，而这里主要就是讲了DAE，所以标题就就直接用了autoencoder
   autoencoder是Vincent等人提出的一个深度学习特征提取模型，他通过将样本输入，隐含层特征重构的方式无监督的获取样本特征。其目标函数未Cross Entropy

   2.2 dropout
   dropout是由hinton提出来的一种随机关闭中间神经元的方式，通过这种方式来实现防止过拟合现象的发生。关于dropout的理论，目前主要分为两派，一派认为dropout相当于集成了多个相同的模型，在预测时形成了一个boosting，另一派则认为，dropout相当于在训练过程中，通过随机关闭神经元，来实现data augment，从而防止过拟合的发生。
   具体可以参考下面两篇文献

Srivastava N, Hinton G E, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.
Bouthillier X, Konda K, Vincent P, et al. Dropout as data augmentation[J]. arXiv preprint arXiv:1506.08700, 2015.

2.3 Pseudo-Label
给定一个神经网络，不管是CNN还是Autoencoder，他们的训练过程都包含了一个分类器，当输入的样本是一个有标记的样本的时候，我们需要最小化模型输出和样本标记的交叉熵（cross entropy），这就是监督学习，那么没有标记的怎么办，这时候就需要一个伪标记（Pseudo-label）。
记

y′={ 1,