以监督的方式同时使用标记和未标记的数据进行训练. 通过最小化未标记数据的熵, 促进类之间的低密度分离.
论文地址: Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks
代码地址: https://github.com/iBelieveCJM/pseudo_label-pytorch
会议: ICML 2013
任务: 分类
本文介绍的 Pseudo-Label 是一个非常经典的 SSL 算法, 方法非常简单, 其核心就是 self-training. 对于未标记数据, 选择预测概率最大(或置信度最大)的标记作为样本的伪标记. 然后将带伪标签的数据视作标记数据加入训练集.
Pseudo-Label 算法
利用深度神经网络(DNN), Pseudo-Label 对无标签数据进行一个预测, 选择预测结果概率最大的结果作为该数据的标签, 这个标签便称为伪标签:
y
i
′
=
{
1
,
if
i
=
arg max
i
′
f
i
′
(
x
)
0
,
otherwise
(1)
y'_i= \begin{cases} 1, & \text{if }i=\argmax_{i'}f_{i'}(x) \\ 0, & \text{otherwise} \end{cases} \tag{1}
yi′=⎩⎨⎧1,0,if i=i′argmaxfi′(x)otherwise(1)
考虑到标记数据和未标记数据的总数差异, 整体损失函数设计如下:
L
=
1
n
∑
m
=
1
n
∑
i
=
1
C
L
(
y
i
m
,
f
i
m
)
+
α
(
t
)
1
n
′
∑
m
=
1
n
′
∑
i
=
1
C
L
(
y
i
′
m
,
f
i
′
m
)
(2)
L=\frac{1}{n}\sum_{m=1}^n\sum_{i=1}^CL(y_i^m,f_i^m)+\alpha(t)\frac{1}{n'}\sum_{m=1}^{n'}\sum_{i=1}^CL(y_i'^m,f_i'^m) \tag{2}
L=n1m=1∑ni=1∑CL(yim,fim)+α(t)n′1m=1∑n′i=1∑CL(yi′m,fi′m)(2)
上式中的第一部分是有标签数据的损失函数, 第二部分表示伪标签数据的损失函数. 其中
n
n
n,
n
′
n'
n′ 分别为有标签和无标签数据集的大小,
L
L
L 为交叉熵损失.
式(2)中的
α
(
t
)
\alpha(t)
α(t) 为权重控制, 用来衡量有标记和无标记数据的重要性. 具体计算如下:
α
(
t
)
=
{
0
,
t
<
T
1
t
−
T
1
T
2
−
T
1
α
f
,
T
1
≤
t
≤
T
2
α
(
f
)
T
2
≤
t
(3)
\alpha(t)= \begin{cases} 0, & t <T_1 \\ \frac{t-T_1}{T_2-T_1}\alpha_f, & T_1 \leq t\leq T_2 \\ \alpha(f) & T_2 \leq t \end{cases} \tag{3}
α(t)=⎩⎪⎨⎪⎧0,T2−T1t−T1αf,α(f)t<T1T1≤t≤T2T2≤t(3)
在
T
1
T_1
T1 轮之前, 只在有标记数据上训练, 然后利用训练的模型给未标记数据打上伪标签, 再逐渐增加未标记数据的权重.
α
(
t
)
\alpha(t)
α(t) 的正确调度对于网络性能非常重要. 如果
α
(
t
)
\alpha(t)
α(t) 太高, 则会对训练产生非常大的干扰. 如果
α
(
t
)
\alpha(t)
α(t) 太小, 则不能利用到未标记数据的好处. 另外使用退火算法来优化局部最小值.