生成式算法与判别式算法

前言：网易公开课机器学习 第五课 生成学习算法的观后感或者总结笔记

1. 区别

生成式算法：对p(x|y)和p(y)进行建模，也可以说是对p(x,y)进行建模，即求x，y的联合分布。比如GDA(Gaussian Discriminant Analysis)，有两个类别0和1，分别对p(x|y=0)和p(x|y=1)进行建模，还有p(y=0)和p(y=1)进行建模，最终$\hat{y} = \arg\max_{i}{p(x|y=i)p(y=i)}$。

判别式算法：对p(y|x)进行建模，相当于一个黑箱，给定一个数据集，直接根据数据集得到决策函数或规则。比如逻辑回归，直接对p(y|x)进行建模。

2. 高斯判别分析

1. 一元高斯分布

$$p(x;\mu,\sigma) = \frac{1}{\sqrt{2 \pi}\sigma} e^{-\frac{(x-\mu)^2} {2\sigma^2} }$$

2. 多元高斯分布

$$p(x;\mu,\Sigma) = \frac{1}{(2 \pi)^{n/2}|\Sigma|^{1/2}}e^{-\frac{1}{2} (x-\mu)^T \Sigma^{-1} (x-\mu)}$$

其中$\mu$为均值列向量，