机器学习的一些概念：监督性学习/无监督性学习/判别式模型/产生式模型

上课听老师提到一些概念，就找来一些资料学习一下。

原文：

有监督学习和无监督学习的区别

http://blog.sina.com.cn/s/blog_56c221b00100gjl6.html

判别式模型和产生式模型 (discriminative model and generative model)

http://blog.163.com/huai_jing@126/blog/static/1718619832011227757554/

 

一、有监督学习和无监督学习的区别

有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。

无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。这里，所有的标记（分类）是未知的。因此，训练样本的岐义性高。聚类就是典型的无监督学习

附：

    机器学习中的方法或范式（paradigm）有很多种分类体系，例如从学习的方式分，有例子中学习、类比学习、分析学习等，但一般来说，现在研究得最多、被认为最有用的是从例子中学习。对从例子中学习，又有很多分类方法，例如从学习的主动性方面，可以分为主动学习和被动学习；从训练过程启动的早晚，可以分为迫切学习和惰性学习等等。最常见的对“从例子中学习”的方法的分类是监督学习、非监督学习和强化学习，这是从训练样本的歧义性（ambiguity）来进行分类的。对监督学习来说，它通过对具有概<br><br>念标记（concept&nbsp;label）的训练例进行学习，以尽可能正确地对训练集之外的示例的概<br><br>念标记进行预测。这里所有训练例的概念标记都是已知的，因此训练样本的歧义性最低。
    对非监督学习来说，它通过对没有概念标记的训练例进行学习，以发现训练例中隐藏的<br><br>结构性知识。这里的训练例的概念标记是不知道的，因此训练样本的歧义性最高。对强化<br><br>学习来说，它通过对没有概念标记、但与一个延迟奖赏或效用（可视为延迟的概念标记）<br><br>相关联的训练例进行学习，以获得某种从状态到行动的映射。这里本来没有概念标记的概<br><br>念，但延迟奖赏可被视为一种延迟概念标记，因此其训练样本的歧义性介于监督学习和非<br><br>监督学习之间。<br><br>&nbsp;&nbsp;&nbsp;需要注意的是，监督学习和非监督学习从一开始就是相对的，而强化学习在提出时并<br><br>没有从训练样本歧义性的角度考虑其与监督学习和非监督学习的区别，因此，一些早期的<br><br>研究中把强化学习视为一种特殊的非监督学习。事实上，对强化学习的定位到目前仍然是<br><br>有争议的，有的学者甚至认为它是与“从例子中学习”同一级别的概念。<br><br>&nbsp;&nbsp;&nbsp;从训练样本歧义性角度进行的分类体系，在近几年可望有一些扩展，例如多示例学习<br><br>（multi-instance&nbsp;learning）等从训练样本歧义性方面来看很特殊的新的学习框架有可能<br><br>会进入该体系。但到目前为止，没有任何新的框架得到了公认的地位。另外，半监督学习<br><br>（semi-supervised&nbsp;learning）也有一定希望，它的障碍是半监督学习中的歧义性并不是<br><br>与生俱来的，而是人为的，即用户期望用未标记的样本来辅助对已标记样本的学习。这与<br><br>监督学习、非监督学习、强化学习等天生的歧义性完全不同。半监督学习中人为的歧义性<br><br>在解决工程问题上是需要的、有用的（对大量样本进行标记的代价可能是极为昂贵的），<br><br>但可能不太会导致方法学或对学习问题视点的大的改变。<br><br>&nbsp;&nbsp;&nbsp;不同的分类体系是相交的，例如，监督学习方法既可能是迫切的（例如大多数神经网<br><br>络、决策树等），也可能是惰性的（例如k近邻等）。另外，分类体系也不是绝对的，例<br><br>如前面提到的强化学习的情况。&nbsp;&nbsp;&nbsp;&nbsp;<br></div>

 

二、判别式模型和产生式模型 (discriminative model and generative model)

 

前些天跟萌哥讨论“判别式模型和产生式模型”的问题，参考了网上一些帖子，做了个表，对两个模型进行了简单的比较。

	判别式模型（discriminative model）	产生式模型（generative model）
特点	寻找不同类别之间的最优分类面，反映的是异类数据之间的差异	对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度
区别(假定输入x, 类别标签y)	估计的是条件概率分布(conditional distribution) : P(y|x)	估计的是联合概率分布（joint probability distribution: P(x, y),
联系	由产生式模型可以得到判别式模型，但由判别式模型得不到产生式模型。
常见模型	– logistic regression – SVMs – traditional neural networks – Nearest neighbor	–Gaussians, Naive Bayes –Mixtures of Gaussians, Mixtures of experts, HMMs –Sigmoidal belief networks, Bayesian networks – Markov random fields
优点	1）分类边界更灵活，比使用纯概率方法或产生式模型更高级； 2）能清晰的分辨出多类或某一类与其他类之间的差异特征； 3）在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好； 4）适用于较多类别的识别； 5）判别模型的性能比产生式模型要简单，比较容易学习。	1）实际上带的信息要比判别模型丰富； 2）研究单类问题比判别模型灵活性强； 3）模型可以通过增量学习得到； 4）能用于数据不完整（missing data）情况。
缺点	1）不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来； 2）Lack elegance of generative: Priors, 结构, 不确定性； 3）Alternative notions of penalty functions, regularization, 核函数； 4）黑盒操作: 变量间的关系不清楚，不可视。	1) Tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows； 2) 学习和计算过程比较复杂。
性能	较好（性能比生成模型稍好些，因为利用了训练数据的类别标识信息，缺点是不能反映训练数据本身的特性）	较差
主要应用	Image and document classification Biosequence analysis Time series prediction	NLP(natural language processing) Medical Diagnosis