数据挖掘之部分监督学习

本文的笔记来源于<<Web 数据挖掘>> Bing Liu著

监督式学习：算法通过利用每个类别中的已标注数据来生成一个分类函数，需大量已标注数据来保证学习的准确性。【需大量标注，费时费力】

部分监督学习（Partially Supervised Learning）：

（1）已标注和无标注数据中进行学习（Learning from Labeled and Unlabeled Examples）  【LU学习（LU Learning）】 【每个类别的数据包含少量的已标注数据和大量的无标注数据】

（2）正例和无标注数据中学习（Learning from Positive and Unlabeled Examples）【PU学习 （PU Learning）】【假设解决的是一个二分类问题，但训练数据是由正例和无标注数据组成，其中不含有反例数据】

1. 从已标注数据和无标注数据中学习（LU Learning）

学习一个分类器的一般过程是先给数据集中的数据标上一些事先定义好的种类或类别，然后利用某种学习算法从中学习得到分类器，该分类器能被 用于未知（测试）数据赋予类别标注。【瓶颈：得到一个准确的分类器，需要大量的昂贵的已标注训练数据集】

LU学习：只有一小部分的数据需要标注。

（1）使用朴素贝叶斯分类器的EM算法

EM算法是一种在存在不完整数据情况下广泛使用的进行最大似然估计的迭代算法。

EM算法分两个步骤组成：

期望过程（Exception Step,E-step）：使用现有的参数估计对数据的不完整部分进行填充。

最大化过程（Maximization Step,M-step）：各个参数被重新计算。

进入下一个循环，直到模型的参数不再发生变化时，EM算法收敛到一个局部最优点。

注意：EM算法实际上并不是一个具体的算法，而是一个框架或策略。简单地把一个基本算法循环运行多次。

【利用L中已标注数据建立一个分类器f，利用f对U中的无标注数据进行分类，即计算每个无标注数据点属于每个类别 的概率】

在LU学习中使用NB分类器的EM算法

推导过程中做了两个假设：

数据是由某个混合模型生成的

在混合成员和分