多元高斯分布及多元条件高斯分布

高斯那些公式

已知 $D$ 维向量 $\mathbf {x}$，其高斯概率分布为：

$$\begin{split} \mathcal N\left(\mathbf x|\mathbf \mu, \mathbf \Sigma\right)=&\frac1{\left(2\pi\right)^{D/2}}\frac1{|\Sigma|^{1/2}}\exp\left(-\frac12\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)\right)\\ =&\frac1{\sqrt{|\Sigma|(2\pi)^D}}\exp\left(-\frac12\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)\right) \end{split}$$

• 显然默认 $\mathbf x$ 是一个列向量

• 还需注意的是，当传递进去的是样本矩阵 $X$（以行为样本） 而不是列向量 $x$，则在计算指数部分时，

  -1/2*sum(X/Sigma .* X, 2);

• 当多元高斯分布退化为一元高斯时，$\Sigma$ 对应着 $\sigma^2$（方差），而不是标准差（standard deviation）

• 这里 $d=\sqrt{\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)}$ 也称为马氏距离；
  是对一元高斯分布对应的 $d=\frac{x-\mu}{\sigma}$ 得拓展；
• 多元时的 $d=\sqrt{\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)}$ 也可视为某种程度的 z-分数，尤其在变量之间彼此独立，并且方差相同时， $d=\frac{\|\mathrm x-\mu\|}{\sigma}$（z-分数），
  
  • d=1，68%
  • d=2，95%
  • d=3, 99%
    3σ rule for multivariate normal distribution

1. 条件高斯分布（Conditional Gaussian distributions）

Multivariate normal distribution - Wikipedia

2. 编程时的技巧

• $\alpha \exp(f(x))$ 的计算通常转换为，求对数，再求指数的形式：$e^{\log\alpha\exp(f(x))}=e^{\log \alpha+f(x)}$

• $p=\frac1{\sqrt{|\Sigma|(2\pi)^D}}\exp\left(-\frac12\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)\right)$ ⇒ $\log p=-\frac D2\log(2\pi)-\frac12\log |\Sigma|-\frac12\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)$

3. 多元高斯概率密度函数的 matlab 实现

function p = gaussProb(X, mu, Sigma)
d = size(Sigma, 2);
X = bsxfun(@minus, X, mu(:)');
log1 = -d/2*log(2*pi)-1/2*logdet(Sigma);
log2 = -1/2*sum(X/Sigma .* X, 2);
p = exp(log1+log2);
end

• 这里的 X <script type="math/tex" id="MathJax-Element-18">X</script>（样本矩阵）以行为样本；