[ProbR] 高斯分布 Gaussian Distribution

---

一、高斯分布

$$p(x)=N(x;\mu ,\Sigma )=\frac{1}{(2\pi {)}^{n/2}\sqrt{det\Sigma }}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$

• $\mu$ 是均值

• $\Sigma$ 是协方差

二、求高斯分布参数

$\mu 和\Sigma$可以通过大量数据计算出来

1. 离散数据

对离散数据来说，公式为：

$$\mu =\frac{1}{N}\sum x^i$$

$$\Sigma =\frac{1}{N}\sum (x^i-\mu )(x^i-\mu {)}^T$$

2. 连续数据

对连续数据来说，公式为：

三、规范参数化

将 $\mu ,\Sigma$ 规范化为 $v,\Omega$

四、高斯分布的联合分布

当有两个相互独立的高斯分布时，他们的联合分布参数如下：

五、仿射变换

有 $$x_a\sim N(X_a;{\mu }_a,{\Sigma }_a)$$

使
$$x_b=f(x_a)=A{x}_a+c$$

对于 $x_b$，其高斯分布为：

$$x_b=N(X_b;{\mu }_b,{\Sigma }_b)$$

则 其参数 ${\mu }_b,{\Sigma }_b$ 为：

六、条件高斯分布

高斯分布 $x\sim N(x;\mu ,\Sigma )$ 有高斯随机变量 $x^T=(x_a^T,x_b^T)$

有条件：

则其高斯分布的参数如下：

七、高斯分布的链式法则

已知

则下列高斯分布的参数为：