半监督学习

一、MixMatch半监督算法

伪代码：
1.使用一个minibatch有标签的数据x1做一次增广输入模型得到预测标签；
2.使用一个minibatch无标签的数据x2做k次增广输入模型得到k个minibatch无标签数据的平均分类概率，应用温度Sharpen 算法，得到猜测标签；
3.将有标签数据x1与无标签数据x2组成新的数据集w；
4.再将x1与w通过mixup得到新的一个minibatch数据以及标签，送入模型得到预测标签计算交叉熵损失；
5.将x2与w通过mixup得到新的k个minibatch数据以及标签，送入模型得到预测标签计算平方误差损失；
6.最终损失是无标签与有标签两者加权，迭代更新模型权重参数；

二、MeanTeacher半监督算法

伪代码：
1.设计一个监督网络作为student网络，并拷贝一份作为teacher网络；
2.每次迭代时，选择包含标有签和无标签同一样本加入随机噪声，分别输入student网络，teacher网络；
3.计算student网络分类损失，计算teacher网络标签平滑损失；
4.更新student网络权重；
5.根据更新后的student权重计算teacher权重；

三、虚拟对抗（VAT）半监督学习

伪代码：
1.输入一个minibatch的无标签数据得到预测y1；
2.对上次无标签数据加入噪声，再次输入模型得到预测y2；
3.计算y1与y2的kl散度距离；
4.重复2，3步骤n次得到最终kl散度距离，视超参数设定值；
5.输入一个minibatch的有标签数据得到预测标签；
6.计算有标签数据的交叉熵损失；
7.将kl散度距离与交叉熵损失相加作为总损失，（刚开始训练无标签预测效果差，计入总损失时添加一个权重w，初始权重为0，随着训练慢慢增加）迭代更新权重；

四、伪标签半监督学习

伪代码：
1.使用有标签的数据训练一个模型；
2.使用训练后的模型预测没有标签数据的标签；
3.使用预测后的标签数据和有标签的数据一起重新训练模型；

五、内插一致性（ICT）半监督学习

伪代码：
1.采样一个minibatch有标签的数据；
2.送入模型预测计算交叉熵损失；
3.采样两个minibatch没有标签的数据；
4.送入模型预测出标签；
5.使用mix混合两个没有标签的数据；
6.计算混合后新数据预测的平方误差损失；
7.有标签损失加上平方误差损失，迭代更新模型参数得到最终模型；

六、Temporal Ensembling半监督学习

伪代码（Temporal ensembling）：
1.使用一个minibatch的有标签和无标签的数据做数据增广后输入网络模型；
2.得到有标签数据的预测值与无标签数据的预测值；
3.计算有标签数据的交叉熵损失，计算无标签数据的预测值以及历史预测值的平方误差损失；
4.将有标签数据的损失以及无标签的损失相加（刚开始训练无标签预测效果差，计入总损失时添加一个权重w，初始权重为0，随着训练慢慢增加），迭代更新权重；

伪代码（П-model）：
1.使用一个minibatch的有标签和无标签的数据做数据增广后分成两份分别输入网络模型；
2.计算第一次输入模型的有标签数据的输出预测的交叉熵损失；
3.计算第一次与第二次输入模型的无标签数据的输出预测的平方误差损失；
4.将有标签数据的损失以及无标签的损失相加（刚开始训练无标签预测效果差，计入总损失时添加一个权重w，初始权重为0，随着训练慢慢增加），迭代更新权重；

实现半监督学习主要几种方案：
1.自洽正则化，对未标记数据进行数据增广，产生的新数据输入分类器，预测结果应保持自洽。即同一个数据增广产生的样本，模型预测结果应保持一致。
2.最小化熵，许多半监督学习方法都基于一个共识，即分类器的分类边界不应该穿过边际分布的高密度区域。具体做法就是强迫分类器对未标记数据作出低熵预测。
3.传统正则化，为了让模型泛化能力更好，一般的做法对模型参数做 L2 正则化，SGD下L2正则化等价于Weight Decay。

七、混合分离（MBT）半监督学习