生成学习算法

本节是观看Andrew Ng的cs299第五节的个人笔记。

本节主要介绍生成学习算法和判别学习算法的基本区别。引出CS229中第一个判别学习算法，先验满足多元高斯分布的统计。经过推导计算，可以发现先验满足不同分布的函数的样本， 后验的线行值满足logistic回归（可以从广义线性模型的方式去思考。可以参考我上一篇博客）。

---

1. 生成学习算法（generative learning algorithm）与判别学习算法(discriminative learning algorithm)是机器学习算法的一种分类形式。

从结论上讲:生成学习算法更注重自身预测值，不关注边界；而判别学习算法关注样本点的边界。

2.协方差：用来表示随机变量的一些相关性，量E{[X-E(X)][Y-E(Y)]} 称为随机变量X与Y的协方差，记为Cov(X,Y),即：

$$Cov(X,Y) = E{{[X-E(X)][Y-E(Y)]}}$$