多元高斯分布的MLE、贝叶斯条件概率和线性判别分析LDA的生成方法总结

注意一下都是基于随机变量之间独立同分布，所以公式里的相关系数p等于0，没有出现。

Gaussian model

给出 $d$ 维随机向量(pattern) $x$ ，即随机变量 $\{x_1,x_2,...,x_n\}$ 其高斯分布表示：

$$q(x;\mu,\Sigma)=\frac{1}{(2\pi)^{\frac{d}{2}}\det(\Sigma)^{\frac{1}{2}}}\exp(\frac{1}{2}(x-\mu)^T\Sigma^{-1}\left(x-\mu)\right) \tag{1}$$
其中 $\mu$ 是 $d$ 维度的列向量代表期望(expectation)， $\Sigma$ 是 $d\times d$ 的协方差矩阵(variance-covariance matrix),即：
$$\mu=E\left[x\right]=\int xq(x;\mu,\Sigma)dx\tag{2}$$
$$\Sigma = V\left[x\right]=\int(x-\mu)(x-\mu)^Tq(x;\mu,\Sigma)dx \tag{3}$$

假设$n$ 个样本之间$i.i.d.$ ,则高斯分布的对数似然(log-likelihood)是：

$$logL(\mu,\Sigma) = -\frac{nd\log2\pi}{2}-\frac{n\log(det(\Sigma))}{2}\\ -\frac{1}{2}\sum_{i=1}^n(x_i-\mu)^T \Sigma^{-1}(x_i-\mu) \tag{4}$$

由(4)求偏导得到似然方程：

∂logL∂μ=nΣ−1μ+Σ−1∑i=1nxi(5)