台大李宏毅Machine Learning 2017Fall学习笔记 (13)Semi-supervised Learning

台大李宏毅Machine Learning 2017Fall学习笔记 (13)Semi-supervised Learning

本博客参考整理自：
http://blog.csdn.net/xzy_thu/article/details/69808817#t8
半监督学习的训练数据，有一部分是标注数据，有一部分是无标注数据。
Transductive learning(直推学习)和Inductive learning(归纳学习)都可算是半监督学习，区别在于前者的无标注数据是测试数据（除去label），而后者的无标注数据不包括测试数据。实际中用哪种常取决于是否有测试集。
题外话：Transductive Learning：从彼个例到此个例，有点象英美法系，实际案例直接结合过往的判例进行判决。关注具体实践。
Inductive Learning：从多个个例归纳出普遍性，再演绎到个例，有点象大陆法系，先对过往的判例归纳总结出法律条文，再应用到实际案例进行判决。从有限的实际样本中，企图归纳出普遍真理，倾向形而上，往往会不由自主地成为教条。参考博客：
http://blog.csdn.net/wendox/article/details/50474264。
无标注数据的分布会让我们做出一些假设，半监督学习有没有用就取决于假设是否合理。

Semi-supervised Learning for Generative Model(生成模型的半监督学习)

若全部是带标签数据，监督模型的建立过程前面小节中讲过，得到的模型如下：

半监督生成模型的建立过程，无标注数据有助于重新估计生成模型假设中的参数，从而影响决策边界。采用EM算法


EM的每次（E步、M步）都让likelihood增加一点。

Semi-supervised Learning Low-density Separation(半监督学习：低密度分离)

$Self-training$
从标注数据得到模型$f^*$（用什么方法都可以），将模型$f^∗$ 用于无标注数据得到伪标签，将一部分无标注数据连同伪标签移入标注数据中（选择那些无标注数据是开放性的，可以给每个伪标签一个权重），重复训练、再次得到$f^*......$。具体流程如下图所示：

回归问题用self-training不影响$f^*$，所以回归问题不能用self-training方法。
self-training类似于生成模型的半监督学习，区别在于：self-training是硬标签，而Semi-supervised Learning for Generative Model是软标签。
对神经网络来讲，用软标签是没有用的。用硬标签就相当于用Low-density Separation Assumption（强制属于某一类，非黑即白）。
$Entropy-based Regularization$
如果神经网络的输出是一个分布，我们希望这个分布要集中。

Semi-supervised Learning Smoothness Assumption(半监督学习：平滑假设)

假设特征的部分是不均匀的（在某些地方集中，某些地方分散），如果两个特征在高密度区域是相近的，那么二者的标签是相同的。


上图中，两个“2”之间有各种2的变体，两个正侧面之间有45°侧面、正面等。
用聚类再标注的方法，可以，但是用像素做聚类结果不会很好，因为有的同类不像，有的异类相像。应该先用deep autoencoder抽feature，再做聚类。
也可以用图结构来表示高密度区域，图的建立与结果很关键。

定义$s(x^i,x^j)$的时候，如果$x^i,x^j$是图像，那么根据像素定义相似度结果应该不会好，用autoencoder抽feature比较好。
exp指数函数是必要的，可以带来比较好的performance，让距离稍远一点s就很小。
用基于图的方法需要data足够多，不然信息传不过去。

定义平滑度，将其作为损失函数中的正则项：



计算smoothness不一定是在output算

Semi-supervised Learning Better Representation(半监督学习：更好的表示)

精神：寻找在表面观察背后隐藏着的更好的表示。