（《机器学习》完整版系列）第7章 贝叶斯分类器——7.11 期望的计算、再谈贝叶斯图络学习

对期望的处理通常是采取近似方法：转化为对一组样本求和（再平均）。 这就要依分布产生这组样本（采样）。
当贝叶斯图络中含有隐变量时，需要使用EM算法对其进行推断，由此可以基于EM算法构造贝叶斯图络。

$\mathbb{E}$的计算

式(7.74)的计算涉及$\mathbb{E}$，当推导过程中能消去它就最好，如，第9章高斯混合聚类算法中的EM算法。

当不能消除它时，对期望的处理通常是采取近似方法：转化为对一组样本求和（再平均）。 这就要依分布产生这组样本（采样）。

下面以贝叶斯网络为例。

首先，固定$\Theta$为${\Theta }^t$（初始时，随机设定一个${\Theta }^0$），让$\mathbf{Z}$变化。

考虑$P(\mathbf{Z}|\mathbf{X},{\Theta }^t)$，它是指在已知$(\mathbf{X},{\Theta }^t)$且以其为条件下，$\mathbf{Z}$的分布。

这时模型参数${\Theta }^t$已知（如，贝叶斯网络已知），对于子矩阵$\mathbf{X}$中的任一行${\mathbf{X}}_i$，以其作为证据$\mathbf{e}$，则可以利用吉布斯采样采出一个样本（参见7.7 贝叶斯网络推断），其预测值$\mathbf{q}$作为子矩阵$\mathbf{Z}$的第$i$行${\mathbf{Z}}_i$，这就推断出了观测变量取${\mathbf{X}}_i$值时，对应的隐变量的取值${\mathbf{Z}}_i$，由此对每行都进行推断，则推断出了整个子矩阵$\mathbf{Z}$。 至此，矩阵$(\mathbf{X},\mathbf{Z})$值为已知。

上述吉布斯采样是采出一组样本，形成一个子矩阵$\mathbf{Z}$，若重复该采样过程，则可得到多组样本，即有子矩阵集 { Z l } l = 1 L \{\mathbf{Z}^l\}_{l=1}^L {Zl}l=1L​。

然后，固定$\mathbf{Z}$的采样 { Z l } l = 1 L \{\mathbf{Z}^l\}_{l=1}^L {Zl}l=1L​，让$\Theta$为自变量。

这时，有了采样，式(7.74)的数学期望就可用平均数作为估值
Q ( Θ   ∣   Θ   t ) ≈ 1 L ∑ Z ∈ { Z l } l = 1 L L L ( Θ   ∣   X , Z ) = 1 L ∑ l = 1 L L L ( Θ   ∣   X , Z l ) \begin{align} Q(\Theta\,|\,{\Theta}^{\,t}) & \thickapprox \frac{1}{L}\mathop{\sum }\limits_{\mathbf{Z}\in \{\mathbf{Z}^l\}_{l=1}^L }\mathrm{LL}(\Theta\,|\,\mathbf{X},\mathbf{Z})\notag \\ & = \frac{1}{L}\mathop{\sum }\limits_{l=1}^L \mathrm{LL}(\Theta\,|\,\mathbf{X},\mathbf{Z}^l) \tag{7.78} \end{align} Q(Θ∣Θt)​≈L1​Z∈{Zl}l=1L​∑​LL(Θ∣X,Z)=L1​l=1∑L​LL(Θ∣X,Zl)​(7.78)​
其中，对$\mathrm{LL}(\Theta |\mathbf{X},{\mathbf{Z}}^l)$常作如下分解：
$$\begin{array}{rl}\mathrm{LL}(\Theta |\mathbf{X},{\mathbf{Z}}^l)& =\ln P(\mathbf{X},{\mathbf{Z}}^l|\Theta )\\ & =\ln \prod _{i=1}^{m}P({\mathbf{X}}_i,{\mathbf{Z}}_i^l|\Theta )\\ & =\sum _{i=1}^m\ln P({\mathbf{X}}_i,{\mathbf{Z}}_i^l|\Theta )\end{array}\text{\hspace{1em}(7.79)}$$
其中，$P({\mathbf{X}}_i,{\mathbf{Z}}_i^l|\Theta )$即为样本$({\mathbf{X}}_i,{\mathbf{Z}}_i^l)$以$\Theta$为条件的条件概率。

上述过程都是在E步中，至此，$Q$中消除了$\mathbb{E}$，$Q$变为以$\Theta$为变量的普通函数。 再转入M步中求$Q$的最大值：式(7.79)代入式(7.78)，找到对应的${\Theta }^{t+1}$。

再谈贝叶斯图络学习

当贝叶斯图络中含有隐变量时，需要使用EM算法对其进行推断，由此可以基于EM算法构造贝叶斯图络。

（1）子程序1：若已知贝叶斯网络结构$B$，则依EM算法步骤（7.10 EM算法的使用场景及步骤）可求得该网络的参数$\Theta$。

（2）子程序2：在$B=⟨G,\Theta ⟩$上计算$s(B|D)$时，用到【西瓜书式(7.29)】，此时，$\mathrm{LL}(B|D)$由于有隐变量，故应调整为$\mathrm{LL}(\Theta |X,\mathbf{z})$，以式(7.74)即【西瓜书式(7.36)】近似，也就是说它在（1）中顺便得到了。

（3）主程序（总框架）：对求贝叶斯网络的“两级搜索”进行改造。

• 第一级（不变）：同7.6 贝叶斯网结构、贝叶斯图络学习（两级搜索法）中的第一级搜索，找一个网络结构$G$。
• 第二级（改造）：在这个网络结构中，试不同的${\pi }^k$来调整网络。 采用贪心法：每次调整一条边（增边，减边，调边的方向），形成一个新的贝叶斯网络结构，用上述（子程序1）求其参数$\Theta$，用上述（子程序2）计算$B=⟨G,\Theta ⟩$的得分$s(B|D)$，若降低了得分则保留此次调整，继续调整直到$s(B|D)$不再降低或搜索完为止。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：7.10 EM算法的使用场景及步骤（反复循环执行E步和M步）
下一篇：8.1 简单投票法（少数服从多数）