半监督学习

1. 半监督学习的基本概念

1.1 什么是半监督学习？

半监督学习（Semi-Supervised Learning, SSL）是一种机器学习方法，结合了少量标注数据（labeled data）和大量未标注数据（unlabeled data）来训练模型。它介于监督学习（所有数据都有标签）和无监督学习（所有数据无标签）之间，旨在通过未标注数据的潜在结构信息提升模型的泛化能力。

• 监督学习：数据集 $D=\{(x_i,y_i){\}}_{i=1}^n$，每个样本 $x_i$ 都有标签 $y_i$。
• 无监督学习：数据集 D = { x i } i = 1 n D = \{x_i\}_{i=1}^n D={ xi​}i=1n​，没有标签，通常用于聚类或降维。
• 半监督学习：数据集 $D=D_l\cup D_u$，其中：
  • 标注数据集 $D_l=\{(x_i,y_i){\}}_{i=1}^l$，数量少（$l$ 小）。
  • 未标注数据集 D u = { x j } j = l + 1 l + u D_u = \{x_j\}_{j=l+1}^{l+u} Du​={ xj​}j=l+1l+u​，数量多（$u\gg l$）。

目标：学习一个模型 $f:X\to Y$，利用 $D_l$ 和 $D_u$ 最小化测试误差。

1.2 为什么需要半监督学习？

• 标注成本高：标注数据需要大量人力、时间和专业知识。例如，医学影像标注需要医生，文本情感分析需要语言专家。
• 未标注数据丰富：未标注数据易于获取，如网络图片、用户日志、传感器数据。
• 性能提升：半监督学习能在标注数据稀缺时显著提高模型性能，接近甚至超越全监督学习。

1.3 半监督学习的基本假设

半监督学习的有效性依赖于以下假设：

1. 平滑性假设：如果 $x_1,x_2$ 在特征空间中接近（$||x_1-x_2||$ 小），则标签 $y_1\approx y_2$。
2. 簇假设：数据点形成簇，同一簇内的点通常属于同一类别。
3. 流形假设：高维数据位于低维流形上，未标注数据帮助学习流形结构。
4. 低密度分离假设：决策边界应通过低密度区域，避免穿过高密度区域。

这些假设确保未标注数据能提供有用的信息。

---

2. 半监督学习的数学框架

半监督学习的数学框架通过联合优化监督损失和无监督损失，利用标注数据和未标注数据的特性来训练模型。以下是详细的数学形式化描述和推导。

2.1 数据定义

• 标注数据：$D_l=\{(x_i,y_i){\}}_{i=1}^l$，其中 $x_i\in {\mathbb{R}}^d$ 是特征向量，$y_i\in Y$ 是标签（分类任务中 Y = { 1 , 2 , … , C } Y = \{1, 2, \dots, C\} Y={ 1,2,…,C}，回归任务中 $Y\subseteq \mathbb{R}$）。
• 未标注数据： D u = { x j } j = l + 1 l + u D_u = \{x_j\}_{j=l+1}^{l+u} Du​={ xj​}j=l+1l+u​，其中 $x_j\in {\mathbb{R}}^d$。
• 总数据集：$D=D_l\cup D_u$，通常 $u\gg l$。
• 测试数据：$D_{\text{test}}=\{(x_k,y_k){\}}_{k=1}^m$，用于评估模型。

2.2 目标

学习一个映射 $f:X\to Y$，参数化为 $f_{\theta }$，通过优化以下目标函数最小化泛化误差：

${\min }_{\theta }{\mathbb{E}}_{(x,y)\sim p(x,y)}[\ell (f_{\theta }(x),y)]$

其中，$\ell$ 是损失函数（如交叉熵或均方误差），$p(x,y)$ 是真实数据分布。由于 $p(x,y)$ 未知，半监督学习通过 $D_l$ 和 $D_u$ 近似优化。

2.3 损失函数

半监督学习的损失函数通常由两部分组成：

$L(\theta )=L_l(\theta )+\lambda L_u(\theta )$

• 监督损失 $L_l$：基于标注数据的损失，衡量模型在 $D_l$ 上的预测误差。
• 无监督损失 $L_u$：基于未标注数据的损失，捕捉数据分布或结构信息。
• 超参数 $\lambda$：平衡监督和无监督损失的权重。

2.3.1 监督损失

对于分类任务，监督损失通常是交叉熵损失：

$L_l(\theta )=\frac{1}{l}{\sum }_{i=1}^l\text{CE}(f_{\theta }(x_i),y_i)$

其中，交叉熵定义为：

$\text{CE}(f_{\theta }(x_i),y_i)=-{\sum }_{c=1}^{C}1(y_i=c)\log p_{\theta }(y_i=c|x_i)$

其中，$p_{\theta }(y_i=c|x_i$