高斯那些公式

<贝叶斯基本公式与理解> 的姊妹篇。

多元正态分布（multivariate normal distribution）

$$f_X(x_1,\dots,x_N)=\frac1{(2\pi)^{N/2}|\Sigma|^{1/2}}\exp\left (-\frac12(x-\mu)^T\Sigma^{-1}(x-\mu)\right )$$

一维、二维高斯分布

一维：

$$f(x)=\frac1{\sqrt{2\pi}\sigma}\exp\left(-\frac{x^2}{2\sigma^2}\right)$$
二维：
$$f(x,y)=\frac1{2\pi\sigma^2}\exp\left(-\frac{x^2+y^2}{2\sigma^2}\right)$$

最大似然

单高斯（非高斯混合，gauss mixture model）的情形：

$$\mathcal{L}(\theta=\{\theta,\Sigma\}|X)=\log P(X|\theta)=\sum_{i=1}^N \log P(x_i|\theta)=\sum_{i=1}^N\log\mathcal{N}(x_i|\theta,\Sigma)$$

其中 $\log\mathcal{L}(\theta|X)$ 被称为 $\textrm{log Likelihood function}$，其中 $\mu_{MLE}=\frac{\partial\,\mathcal{L}(\theta|X)}{\partial\,\mu}$，$\Sigma_{MLE}=\frac{\partial\,\mathcal{L}(\theta|X)}{\partial\,\Sigma}$

$$\begin{split} &=\frac{\partial\,\left ( \sum_{i=1}^N\log \frac1{\sigma\sqrt{2\pi}}\exp\left( -\frac12\frac{(x_i-\mu)^2}{\sigma^2}\right)\right)}{\partial\,\mu }\\ &=\frac{\partial\,\sum_{i=1}^N\log\left [ \exp(-\frac12\frac{(x_i-\mu)^2}{\sigma^2})\right]}{\partial\,\mu}\\ &=\frac{\partial\,\sum_{i=1}^N(x_i-\mu)^2}{\partial\,\mu}\\ &=\sum_{i=1}^N(x_i-\mu)=0 \quad\Rightarrow \quad \sum_{i=1}^Nx_i=\sum_{i=1}^N\mu\quad\Rightarrow \quad \mu_{MLE}=\frac1N\sum_{i=1}^Nx_i \end{split}$$

$$\begin{split} &=\frac{\partial\,\left ( \sum_{i=1}^N\log \frac1{\sigma\sqrt{2\pi}}\exp\left( -\frac12\frac{(x_i-\mu)^2}{\sigma^2}\right)\right)}{\partial\,\sigma}\\ & \Rightarrow \quad \sigma_{MLE}^2=\frac{\sum_{i=1}^N(x_i-\mu_{MLE})^2}N \end{split}$$

也即 $\mu_{MLE}$ 是所有样本的均值；
$\sigma_{MLE}^2$ 是所有样本方差的均值；

根据单个高斯模型通过最大似然估计的方法得到的样本均值和方差为如下的作图（二维数据）所示（显然十分牵强，高斯分布的情况下，均值附近的样本应当是最密集的）：

下图为三个高斯叠加的结果（红线部分）：