（《机器学习》完整版系列）第14章 概率图模型——14.4 学习与推断之变量消去法（“边际化”，“m化”逐步消元）

在联合分布中，把变量集分成两部分，保留一部分，消去另一部分，从概率角度讲，叫“边际化”， 从求解的角度叫变量消去（消元）。
学习与推断之变量消去法：求解过程为逐步“$m$化”的过程。

学习与推断之变量消去法

在联合分布中，把变量集分成两部分${\mathrm{x}}_E,{\mathrm{x}}_F$，保留一部分${\mathrm{x}}_E$，消去另一部分${\mathrm{x}}_F$，得表达式【西瓜书式(14.13)】（当连续变量时，将“求和”改为“积分”），从概率角度讲，叫“边际化”（二维表中，右边（或下边）补一列（或行），用于“小计”，由于补在表的边上，故叫“边际化”）。 从求解的角度叫变量消去（消元）。

【西瓜书图14.7(a)】贝叶斯网络中求$P(x_5)$（推断目标），依该例中式子的次序作如下理解：

i. 通过联合分布求$P(x_5)$，即是对其它变量进行消元，即利用【西瓜书式(14.13)】，展开为多重求和。

ii. 联合分布$P(x_1,x_2,x_3,x_4,x_5)$，可以用马尔可夫性进行处理，形成条件概率之积
$$\begin{array}{rl}& P(x_1,x_2,x_3,x_4,x_5)\\ & =P(x_1)P(x_2|x_1)P(x_3|x_1,x_2)P(x_4|x_1,x_2,x_3)P(x_5|x_1,x_2,x_3,x_4)\text{（由式(14.1)）}\\ & =P(x_1)P(x_2|x_1)P(x_3|x_2)P(x_4|x_3)P(x_5|x_3)\text{（由式(14.3)）}\end{array}\text{\hspace{1em}(14.35)}$$

iii. 确定连加中的次序（连和号的执行次序为从右至左）：因求$P(x_5)$，含$x_5$的因子为$P(x_5|x_3)$，即${\sum }_{x_3}$应最后求和，而$x_3$又涉及到$x_2$和$x_4$，由此逆向地追索，即得到【西瓜书图14.7(b)】消息传过程，也得到了连加次序（不是唯一的，如，${\sum }_{x_4}$可放到最先）。

iv. 保持连加号的次序不变，逐个将式中的因子左移，碰到障碍（求和号与它相关）才停下来，如：
${\sum }_{x_3}{\sum }_{x_4}{\sum }_{x_2}{\sum }_{x_1}P(x_4|x_3)$，移动因子$P(x_4|x_3)$后成为${\sum }_{x_3}{\sum }_{x_4}P(x_4|x_3){\sum }_{x_2}{\sum }_{x_1}$。

v. 各因子要么是式子表达的，要么是表格表达的，表格表达的示例见【西瓜书图7.2右侧】的条件分布表，总之，各因子都应为已知的值，故可求和。

为便于计算机编程，引入中间过程变量$m_{Q{Q}^{\prime }}(x_{Q^{\prime }})$，其中，$Q$表示本次求和因子中被该和号消去的变量的下标，而$Q^{\prime }$表示不被该和号消去的变量的下标。 如，${\sum }_{x_2}P(x_3|x_2)m_{12}(x_2)$，求和因子中涉及的变量为$x_2,x_3$，其中$x_2$在和号下，将被消去，$x_3$不被消去，故该式的运算结果存入$m_{23}(x_3)$。 因此，求解过程为逐步“$m$化”的过程。 因“$m$化”的运算限制在局部（仅与部分变量相关），有利于编程。

上述逐步“$m$化”的过程对因子为势函数也适用，其步骤为：

i. 根据图形及势函数定义构造出【西瓜书式(14.2)】或【西瓜书式(14.3)】的联合分布。

ii. 对联合分布用连和方式进行消元，根据图形找到消息传递次序，从而确定求和次序。

iii. 保持求和次序不变，将各因子（势函数）尽量左移，碰到障碍（求和号与它相关）才停下来。

iv. 从右至左，对每个$\sum$进行“$m$化”。

【西瓜书式(14.17)(14.18)】即为示例。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：14.3 条件随机场（链式CRF的条件概率）
下一篇：14.5 学习与推断之信念传播（消息传递的画法及消息计算）