机器学习笔记之高斯分布(四)基于高斯分布的推断问题介绍

引言

本节将介绍高斯分布相关的推断问题。

回顾

推断任务介绍

在概率图模型——推断任务介绍中提到推断的本质就是求解变量的概率。已知随机变量集合$\mathcal{X}$的变量表示如下：
$$\mathcal{X}=(x_1,x_2,\cdots ,x_p{)}^T$$

• 给定联合概率分布$\mathcal{P}(\mathcal{X})$的条件下，求解某一维度$x_i(i=1,2,\cdots ,p)$的边缘概率分布$\mathcal{P}(x_i)$：
  $$\begin{array}{rl}\mathcal{P}(x_i)& =\sum _{x_1,\cdots ,x_{i-1}}\sum _{x_{i+1},\cdots ,x_p}\mathcal{P}(\mathcal{X})\\ & =\sum _{x_1,\cdots ,x_{i-1}}\sum _{x_{i+1},\cdots ,x_p}\mathcal{P}(x_1,\cdots ,x_p)\end{array}$$
• 假设$\mathcal{X}$可分为两个子集${\mathcal{X}}_{\mathcal{A}},{\mathcal{X}}_{\mathcal{B}}$，并且子集之间满足如下关系：
  $$\{\begin{array}{l}{\mathcal{X}}_{\mathcal{A}}\cap {\mathcal{X}}_{\mathcal{B}}=\varphi \\ {\mathcal{X}}_{\mathcal{A}}\cup {\mathcal{X}}_{\mathcal{B}}=\mathcal{X}\end{array}$$
  给定联合概率分布$\mathcal{P}(\mathcal{X})$的条件下，求解集合间的条件概率分布：
  $$\text{Given }\mathcal{P}(\mathcal{X})\Rightarrow \mathcal{P}({\mathcal{X}}_{\mathcal{A}}\mid {\mathcal{X}}_{\mathcal{B}})$$
• 最大后验概率推断(MAP Inference)，给定联合概率分布，求解某变量的边际概率分布。常用于解码(Decoding)任务中。
  这里不过多赘述，具体详见隐马尔可夫模型——解码问题

概率分布与概率模型

在该系列第一篇文章极大似然估计与最大后验概率估计中，就已经介绍了概率分布和概率模型之间可以看作相同的事物。已知样本集合$\mathcal{X}$：

• 概率分布$\mathcal{P}(\mathcal{X})$表示样本集合$\mathcal{X}$取值的概率规律；
• 概率模型表示在概率分布$\mathcal{P}(\mathcal{X})$下，通过模型参数采样出若干样本，这些样本组成样本集合$\mathcal{X}$。

从采样的角度观察，概率模型中的样本数量是无穷大的，是采不完的；从模型估计的角度观察，除非概率模型极为简单，否则极难得到概率模型的精确解，只能通过有限的样本对概率模型进行估计。

高斯分布(Gaussian Distribution)，它既是概率分布，也是概率模型。本节将对高斯分布概率模型的条件概率分布、边缘概率分布进行推断。
在概率图模型中，特别是动态模型中，包含关于高斯分布的条件概率推断过程。如卡尔曼滤波(线性高斯模型),以及未来要介绍的[高斯网络]这里挖一个坑，后续来补~

高斯分布推断任务

场景构建

样本集合$\mathcal{X}$是包含$p$维随机变量的随机变量集合，并且$\mathcal{X}$服从$p$维高斯分布：
$$\begin{array}{rl}& \mathcal{X}\sim \mathcal{N}(\mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left[-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right]\\ & \mathcal{X}\in {\mathbb{R}}^p,\text{Random Variable}\end{array}$$
其中随机变量集合$\mathcal{X}$，均值$\mu$，协方差矩阵$\Sigma$向量形式表示如下：
$$\mathcal{X}={\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right)}_{p\times 1}\mu ={\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right)}_{p\times 1}\Sigma ={\left(\begin{array}{c}{\sigma }_{11},{\sigma }_{12},\cdots ,{\sigma }_{1p}\\ {\sigma }_{21},{\sigma }_{22},\cdots ,{\sigma }_{2p}\\ ⋮\\ {\sigma }_{p1},{\sigma }_{p2},\cdots ,{\sigma }_{pp}\end{array}\right)}_{p\times p}$$

推导任务描述

任务描述：已知一个多维高斯分布，求解它的边缘概率分布和条件概率分布：
给定了概率分布，意味着给定了‘概率模型’。因而这个多维高斯分布中的‘均值’$\mu$,协方差$\Sigma$全部是已知项。
这里将随机变量集合$\mathcal{X}$分成两组：
这里只是将随机变量集合分成两组，并不一定是有序的。
$$\mathcal{X}=\left(\begin{array}{c}{\mathcal{X}}_a\\ {\mathcal{X}}_b\end{array}\right){\mathcal{X}}_a\in {\mathbb{R}}^m;{\mathcal{X}}_b\in {\mathbb{R}}^n\{\begin{array}{l}{\mathcal{X}}_a\cap {\mathcal{X}}_b=\varphi \\ {\mathcal{X}}_a\end{array}$$