半监督学习（semi-supervised learning）

# 半监督学习（semi-supervised learning）

---

1 introduction

• why semi-supervised learning?
  

  收集数据很贵，收集有标签的数据更贵！

• superviesd：$D = \{ (x_i,y_i)\}_{i = 1}^N$
• semi-supervised：$D = \{ (x_i,y_i)\}_{i = 1}^M \cup \{ x_u \}_{j = M+1}^N$，通常N$\gg$ M
  
  • 转导推理——Transductive Learning：无标签数据就是测试数据
  • 归纳学习——Inductive Learning：无标签数据不是测试数据

---

2 Generative model

• initialzation：$\theta = \{P(C_1), P(C_2), \mu_1, \mu_2, \sum\}$

  • step 1：计算无标签数据的后验概率 $P_{\theta}(C_1|x_u)$

  • step 2：更新模型

    $P(C_1) = \frac{N_1 + \sum\limits_{x_u} P(C_1|x_u)}{N}$ ，$N_1$是属于第一类的实例的个数，$\mu_1 = \frac{1}{N_1}\sum\limits_{x_i \in C_1 } x_i+ \frac{1}{ \sum \limits_{x_u}P(C_1|x_u)} \sum\limits_{x_u} P(C_1|x_u)x_u$

  • 回到step 1

• maximum likelihood with labelled data：

  • $logL(\theta) = \sum\limits_{x_i} logP_{\theta}(x_i,y_i)$
  • $P_{\theta}(x_i,y_i) = P_{\theta}(x_i|y_i)P(y_i)$
• maximum likelihood with labelled + unlabelled data：
  
  • $logL(\theta) = \sum\limits_{x_i} logP_{\theta}(x_i) + \sum\limits_{x_u} logP_{\theta}(x_u)$
  • $P_{\theta}(x_u) = P_{\theta}(x_u|C_1)P(C_1) + P_{\theta}(x_u|C_2)P(C_2)$

---

3 Assumption

• Low-density Separation：分离超平面处数据密度小

  • Self-training：1、从有标签数据中学习一个模型$f^*$；2、应用$f^*$在无标签数据上得到标签（Pseudo-label）；3、从原先无标签数据中取出一些数据加入有标签数据集；4、重复之前的步骤
  • Hard label v.s. soft label：$[0.7,0.3]^T \rightarrow [1,0]^T or [0.7,0.3]^T$，soft label没有用！hard label就是用了low-density seperation的假设。
  • Entropy-based Regularization：计算分布的熵来表示分布的集中还是分散，$E(y_u) = -\sum\limits_{m=1}^M y_u^mln(y_u^m)$，熵越小越集中，越大越分散。
  • $L = \sum\limits_{x_i}C(y_i,\hat y_i)+\lambda \sum\limits_{x_u}E(y_u)$
  • semi-supervised SVM：穷举所有可能的无标签数据

• Smoothness Assumption：特征接近的数据（在高密度区域若两个数据接近），那么它们有相同的标签

  • Cluster $\rightarrow$ label
  • Graph-based Approach：1、定义 similarity，例如$s(x_i,x_j) = exp(-\gamma||x_i-x_j||^2)$；2、添加边：例如KNN/e-neighborhood
  • 定义图的smoothness：$S = \frac{1}{2}\sum\limits_{i,j}w_{i,j}(y_i-y_j)^2 = y^TLy$，$y = […,y_i,…y_j,…]^T$
    $L：N*N，L = D(W)-W$矩阵,
  • $L = \sum\limits_{x_i}C(y_i,\hat y_i) + \lambda S$

---

4 Better Representation

• 找到观察到的事物背后的latent factors（潜在因子），这些东西之后才是better representation
• 待续……

---