【论文阅读】半监督、自监督和无监督技术在图像分类中的应用综述

论文标题
A survey on Semi-, Self- and Unsupervised Techniques in Image Classification

概念解释

unsupervised

输入只有样本没有标签，损失函数需要的一切参数都由输入样本生成

semi-supervised

输入的样本有一部分是有标签的，另一部分没有标签，通常损失函数=有监督损失函数+无监督损失函数

self-supervised

首先对无标签数据进行pretext task，在进行微调的时候需要用到有标签数据

weakly-supervised

周志华教授综述
弱监督的概念包括三种：有部分标签（半监督）、有粗糙的标签、有错误的标签

metric-learning（or相似度学习）

拐个弯，比如后面介绍到的通过对旋转角度、相对位置等的学习来实现对图片内容理解的学习

技术

Consistency regularization

在半监督中，这个技术作为一种额外添加的损失函数与有监督的损失函数并行训练
在自监督和无监督中可以只使用这种技术作为损失函数训练

Virtual Adversarial Training (VAT)

文献：Virtual adversarial training: a regularization method for supervised and semi-supervised learning

x是某一个数据，f(x)是网络输出，D是距离的度量，P是概率分布，radv是使D最大时的r

Mutual Information (MI)

文献：Elements of information theory
通过令P(f(x))=P(f(y))来平衡使熵最大化和使条件熵最小化的影响

Entropy Minimization (EntMin)

文献：Semi-supervised learning by entropy minimization
They minimized the entropy H(P f(x) ) for all probability distributions P f(x) based on a certain neuraloutputf(x) for an image x

Mean Squared Error (MSE)

Overclustering

**文献：Deep clustering for unsupervised learning of visual features. **
相对于有监督方法中的k个classes，在无监督方法中则使用k个clusters

Pseudo-Labels

文献：Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks.
把预测的结果当作伪标签再进