机器学习笔记之高斯分布(五)推断任务之边缘概率分布与条件概率分布

引言

上一节介绍了高斯分布概率模型相关的推断问题，并详细介绍了给定联合概率分布求解条件概率分布。本节将继续介绍推断任务——基于随机变量之间存在线性关系的条件下，求解条件概率与边缘概率。

回顾：

卡尔曼滤波

卡尔曼滤波(Kalman Filter)本身是线性高斯动态模型(Linear Gaussian Dynamic Model)的代表，它的性质表示在如下过程：

• 状态转移概率$\mathcal{P}(i_t\mid i_{t-1})$：
  需要注意的点：卡尔曼滤波是‘动态模型’的一种表达，它依然受到‘齐次马尔可夫假设’的约束。
  以一阶齐次马尔可夫假设为例，线性高斯动态模型中的相邻隐变量之间存在线性关系，并且对应噪声$ϵ$服从高斯分布：
  $$i_t=\mathcal{A}\cdot i_{t-1}+\mathcal{B}+ϵϵ\sim \mathcal{N}(0,\mathcal{Q})$$
  对应概率分布表示如下：
  这种表示方法需要注意。它写的是$\mathcal{N}(\mathcal{A}\cdot i_{t-1}+\mathcal{B},\mathcal{Q})$而不是$\mathcal{A}\mu +\mathcal{B}$。因为$\mathcal{N}(\mathcal{A}\mu +\mathcal{B},\mathcal{A}\mathcal{Q}{\mathcal{A}}^T)$表示$i_t$的边缘概率分布。并且，这种写法意味着$i_{t-1}$是已知的，可观测的。
  $$\{\begin{array}{l}\mathcal{P}(i_{t-1})\sim \mathcal{N}(\mu ,\mathcal{Q})\\ \mathcal{P}(i_t\mid i_{t-1})\sim \mathcal{N}(\mathcal{A}\cdot i_{t-1}+\mathcal{B},\mathcal{Q})\end{array}$$
  这个式子表示的是关于随机变量自身的线性关系还是期望的线性关系？使用例子描述一下：

  • 已知一个二维高斯分布，它各维度服从的高斯分布如下：
    $$x_1\sim \mathcal{N}(0,1)x_2\sim \mathcal{N}(0,1.5)$$
    对应图像表示如下：
    
  • 定义一个线性关系：$\mathcal{Y}=2\mathcal{X}+2$，上述样本点在线性计算之后的分布表示如下(橙色样本点)：
    
    注意，这里仅对原始的样本结果(蓝色样本点)进行线性计算，没有添加其他噪声。从图像中明显观察到：均值已经发生了变化(两团样本的密集区域没有重合在一起)。
    均值由0变成了 2x0+2=2。
    因此，$\mathcal{P}(i_t\mid i_{t-1})\sim \mathcal{N}(\mathcal{A}\cdot i_{t-1}+\mathcal{B},\mathcal{Q})$既表示随机变量的线性关系，也表示期望的线性关系。
    需要再次强调，$\mathcal{P}(i_t),\mathcal{P}(i_t\mid i_{t-1})$它们两个代表不同的高斯分布。而$\mathcal{A}\mathcal{Q}{\mathcal{A}}^T$是‘基于’$i_t=\mathcal{A}\cdot i_{t-1}+\mathcal{B}$线性计算的关于$i_t$的边缘概率分布$\mathcal{P}(i_t)$的协方差结果。

• 发射概率$\mathcal{P}(o_t\mid i_t)$
  隐变量与对应时刻观测变量之间存在线性关系，斌且噪声服从高斯分布：
  $$\{\begin{array}{l}{o}_t=\mathcal{C}\cdot i_t+\mathcal{D}+\delta \delta \sim \mathcal{N}(0,\mathcal{R})\\ \mathcal{P}(o_t\mid i_t)\sim \mathcal{N}(\mathcal{C}\cdot i_t+\mathcal{D},\mathcal{R})\end{array}$$