参照http://blog.csdn.net/daijiguo/article/details/52218207
比如二类分类问题,不管是感知器算法还是逻辑斯蒂回归算法,都是在解空间中寻找一条直线从而把两种类别的样例分开,对于新的样例只要判断在直线的哪一侧即可;这种直接对问 题求解的方法可以成为判别学习方法(discriminative learning algorithm)。
而生成 学习算法则是对两个类别分别进行建模,用新的样例去匹配两个模型,匹配度较 高的作为新样例的类别,比如良性肿瘤与恶性肿瘤的分类,首先对两个类别分别 建模,比如分别计算两类肿瘤是否扩散的概率,计算肿瘤大小大于某个值的概率 等等;再比如狗与大象的分类,分别对狗与大象建模,比如计算体重大于某个值 的概率,鼻子长度大于某个值的概率等等。
形式化的说,判别学习方法是直接对 p(y|x)进行建模或者直接学习输入空间 到输出空间的映射关系,其中,x 是某类样例的特征,y 是某类样例的分类标记。 而生成学习方法是对 p(x|y)(条件概率)和 p(y)(先验概率)进行建模,然后按 照贝叶斯法则求出后验概率 p(y|x)