高斯判别分析算法及其python实现

高斯判别分析算法（Gaussian discriminat analysis）

高斯判别算法是一个典型的生成学习算法（关于生成学习算法可以参考我的另外一篇博客）。在这个算法中，我们假设$p(x|y)$服从多元正态分布。

注：在判别学习算法中，我们假设$p(y|x)$服从一维正态分布，这个很好类比，因为在模型中输入数据$X$通常是拥有很多维度的，所以对于$X$的条件概率建模时要取多维正态分布。

多元正态分布

多元正态分布也叫多元高斯分布，这个分布的两个参数分别是平均向量$\mu\in\mathbb{R}^n$和一个协方差矩阵$\sum\in\mathbb{R}^{n \times n}$

关于协方差矩阵的定义；假设$X$是由$n$个标量随机变量组成的列向量，并且$\mu_k$是第$k$个元素的期望值，即$\mu_k=E(X_k)$，那么协方差矩阵被定义为

∑=E{ (X−E(X))(X−E(X)T)}=⎡⎣⎢⎢⎢⎢E[(X1−μ1)(X1−μ1)]E[(X2−μ2)(X1−μ1)]⋮E[(Xn−μn)(X1−μ1)]E[(X1−μ1)(X2−μ2)]E[(X2−μ2)(X2−μ2)]⋮E[(Xn−μn)(X2−μ2)]⋯⋯⋱