机器学习（三）半监督学习（Semi-supervised Learning）

问题：
有训练样本$D_L = \{(x_1, y_1), (x_2, y_2),...,(x_l, y_l)\}$ 与未标记样本$D_U=\{x_{x+1}, x_{x+2},...,x_{l+u} \}$
要求：
用$D_LU D_U$ 训练分类器

方法：

• 在$D_L$ 上训练分类器
• 用分类器对$D_U$ 中数据分类
• 两类方法 （1）利用软的分类结果（EM算法）（2）利用硬的分类结果（很多方法）
• 将$D_U$ 的分类信息加上，回到第一步

半监督SVM

$$min:E(w,b,\xi,\hat{y}) = \frac{1}{2} \Arrowvert w \Arrowvert ^2 + C_l \sum_{i=1}^{l} \xi_i^2 + C_u \sum_{i=l+1}^{l+u} \xi_i^2$$
$$s.t. \qquad y_i(w^Tx_i+b)\ge1-\xi_i (i=1\sim l)$$
$$\qquad \hat{y_i}(w^T\varphi (x_i)+b) \ge 1- \xi_i (i=l+1 \sim l+u)$$
这是个NP问题

图半监督学习