判别学习方法与生成学习方法

判别学习方法与生成学习方法

对这两个概念一直不清楚，看了Andrew Ng的视频（第五集 生成学习算法），记录如下

目录

---

判别学习方法：

discriminative learning algorithm: 要么直接学习出$P(y|x)$或者学习出一个假设$h_\theta(x)\in\{0, 1\}$，逻辑回归是判别学习方法的一个例子

生成学习方法：

generative learning algorithm: 在给定样本所属类别的条件下，对样本特征进行学习，建立概率模型$P(x|y)$，高斯判别分析（Gaussian Discriminant Analysis）是生成学习方法的一个例子

举个例子，假定一个癌症为恶性或者良性，对该条件下的癌症症状的概率分布进行建模，那么针对正负样本，可以建立两个模型：$P(x|y=1)以及P(x|y=1)$。当给定新的样例，可以得到

$$P(y=1|x) = \dfrac{p(x|y=1)p(y)}{p(x)}$$
$$P(y=0|x) = \dfrac{p(x|y=0)p(y)}{p(x)}$$

高斯判别分析的似然公式

已上述癌症为例，继续分析

p(x