高斯分布-笔记(1)

1 -单变量高斯分布

单变量高斯分布概率密度函数定义为：

$$p(x)=\frac{1}{\sqrt{2\pi\sigma}}exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2\} \tag{1.1}$$
式中 $\mu$为随机变量 $x$的期望， $\sigma^2$为 $x$的方差， $\sigma$称为标准差：
$$\mu=E(x)=\int_{-\infty}^\infty xp(x)dx \tag{1.2}$$
$$\sigma^2=\int_{-\infty}^\infty(x-\mu)^2p(x)dx \tag{1.3}$$
可以看出，该概率分布函数，由期望和方差就能完全确定。高斯分布的样本主要都集中在均值附近，且分散程度可以通过标准差来表示，其越大，分散程度也越大，且约有95%的样本落在区间 $(\mu-2\sigma,\mu+2\sigma)$

2 - 多元高斯分布

多元高斯分布的概率密度函数。多元高斯分布的概率密度函数定义：

$$p({\bf x})=\frac{1}{(2\pi)^{\frac{d}{2}}|\Sigma|^\frac{1}{2}}exp\{-\frac{1}{2}({\bf x-\mu})^T{\Sigma}^{-1}({\bf x-\mu})\} \tag{2.1}$$
其中 ${\bf x}=[x_1,x_2,...,x_d]^T$是 $d$维的列向量；
${\bf \mu}=[\mu_1,\mu_2,...,\mu_d]^T$是 $d$维均值的列向量；
$\Sigma$是 $d\times d$维的协方差矩阵；
${\Sigma}^{-1}$是 $\Sigma$的逆矩阵;
$|\Sigma|$是 $\Sigma$的行列式；
$(\bf x-\mu)^T$是 $(\bf x-\mu)$的转置，且
$$\mu=E(\bf x) \tag{2.2}$$
$$\Sigma=E\{(\bf x-\bf \mu)(\bf x - \mu)^T\}\tag{2.3}$$
其中 $\mu,\Sigma$分别是向量 $\bf x$和矩阵 $(\bf x -\mu)(\bf x -\mu)^T$的期望，诺 $x_i$是 $\bf x$的第 $i$个分量， $\mu_i$是 $\mu$的第 $i$个分量， $\sigma_{ij}^2$是 $\sum$的第 $i,j$个元素。则:
$$\mu_i=E(x_i)=\int_{-\infty}^\infty x_ip(x_i)dx_i \tag{2.4}$$
其中 $p(x_i)$为边缘分布：
$$p(x_i)=\int_{-\infty}^\infty\cdot\cdot\cdot\int_{-\infty}^\infty p({\bf x})dx_1dx_2 \cdot\cdot\cdot dx_d \tag{2.5}$$
而
$$\begin{eqnarray}\sigma_{ij}^2 &=&E[(x_i-\mu_i)(x_j-\mu_j)]\\ &=&\int_{-\infty}^\infty\int_{-\infty}^\infty(x_i-\mu_i)(x_j-\mu_j)p(x_i,x_j)dx_idx_j \end{eqnarray} \tag{2.6}$$
不难证明，协方差矩阵总是对称非负定矩阵，且可表示为：

Σ=⎡⎣⎢⎢⎢⎢σ211σ212⋅⋅⋅σ21dσ212⋅⋅⋅σ21dσ222⋅⋅⋅σ22d⋅⋅⋅σ22d⋅⋅⋅σ2