机器学习笔记之概率图模型(八)信念传播(Belief Propagation,BP)(基于树结构)

引言

上一节介绍了精确推断中的变量消去法，本节将针对变量消去法的弊端，介绍信念传播。

回顾：变量消去法及弊端

变量消去法(Variable Elimination,VE)是概率图精确推断的基础思想，其本质是通过 乘法对加法的分配律 思想进行简化运算。
已知一个贝叶斯网络表示如下：

上述节点的联合概率分布$\mathcal{P}(i_1,i_2,i_3,i_4,i_5)$表示如下：
$$\begin{array}{rl}\mathcal{P}(i_1,i_2,i_3,i_4,i_5)& =\prod _{k=1}^5\mathcal{P}(i_k\mid i_{pa(k)})\\ & =\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\cdot \mathcal{P}(i_5\mid i_4)\end{array}$$
以$i_3,i_5$两个变量结点示例：

• 变量结点$i_5$的边缘概率分布表示如下：
  其中${\mathcal{P}}_{i_1}(i_2)$表示通过$i_1$积分从而得到$i_2$的边缘概率结果。
  $$\begin{array}{rl}\mathcal{P}(i_5)& =\sum _{i_1,i_2,i_3,i_4}\mathcal{P}(i_1,i_2,i_3,i_4,i_5)\\ & =\sum _{i_1,i_2,i_3,i_4}\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\cdot \mathcal{P}(i_5\mid i_4)\\ & =\sum _{i_4}\mathcal{P}(i_5\mid i_4)\cdot \sum _{i_3}\mathcal{P}(i_4\mid i_3)\cdot \sum _{i_2}\mathcal{P}(i_3\mid i_2)\cdot \sum _{i_1}\mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_1)\\ & =\sum _{i_4}\mathcal{P}(i_5\mid i_4)\cdot \sum _{i_3}\mathcal{P}(i_4\mid i_3)\cdot \sum _{i_2}\mathcal{P}(i_3\mid i_2)\cdot {\mathcal{P}}_{i_1}(i_2)\\ & =\cdots \\ & ={\mathcal{P}}_{i_4}(i_5)\end{array}$$
  在贝叶斯网络中，$i_5$节点的计算顺序表示如下(蓝色箭头)：
  
  这个操作和隐马尔可夫模型中的前向算法计算顺序相同，均是 从初始时刻出发，向目标时刻方向计算的过程。
  不仅计算顺序相同，并且计算的操作也是非常近似的。即每一次迭代过程都需要对状态变量进行积分，从而转移到下一状态。
  HMM模型前向算法(Forward Algorithm)迭代过程表示如下：
  $${\alpha }_{t+1}(j)=\sum _{i_t}{b}_j(o_{t+1})\cdot a_{ij}\cdot {\alpha }_t(i)$$
  其中${\alpha }_t(i)$表示 $t$时刻之前所有观测变量$o_1,\dots ,o_t$与$t$时刻状态变量$i_t$的联合概率分布；$a_{ij}$表示状态转移矩阵$\mathcal{A}$的对应元素；$b_j(o_{t+1})$表示发射矩阵$\mathcal{B}$的对应元素；
  $${\alpha }_t(i)=\mathcal{P}(o_1,\cdots ,o_t,i_t$$