贝叶斯网专题12：参数学习之贝叶斯估计

第一部分：贝叶斯网基础

1.1 信息论基础

1.2 贝叶斯网基本概念

1.3 变量独立性的图论分析

第二部分：贝叶斯网推理

2.1 概率推理中的变量消元方法

2.2 团树传播算法

2.3 近似推理

2.3.1 蒙特卡洛方法

2.3.1.1 重要性抽样法

2.3.1.2 马尔可夫蒙特卡洛抽样法(MCMC)

2.3.2 变分推理

第三部分：贝叶斯网参数学习

3.1 理论基础-分布的分布

3.2 极大似然估计

3.3 贝叶斯估计

上个暑假结束前，贝叶斯网专题更新到参数学习的极大似然估计部分。上了一学期课，寒假来临了，又有时间再续前缘。接下来将通过几个专题介绍参数学习的贝叶斯估计方法、结构学习的方法以及隐结构学习的方法。隐结构学习中将会遇到一些迄今为止仍未解决的问题，未来可沿着这个方向做进一步的研究。下面进入本次专题的内容：参数学习之贝叶斯估计方法。
当贝叶斯网的结构已知，而各节点的条件概率表存在未知项时，可通过参数学习方法从样本集中估计这些未知项。常用的参数学习方法包括极大似然估计和贝叶斯估计。上一专题已经介绍了极大似然估计，其认为待估参数是固定的，我们观察到了一些样本数据，这些样本数据既然已经出现，那就认为它们出现的概率是最大的，进而反推出参数的取值。而贝叶斯估计的思路与此不同，它认为参数服从某种分布，观察到的样本数据只是在这种参数的分布下产生的，因此我们可以根据经验给出待估参数的先验分布，并通过观察到的样本的似然度和贝叶斯公式计算后验分布，并以参数在该后验分布下的期望来估算参数值。
上面这段加粗的文字概括了贝叶斯估计的基本思想，下面将通过最简单的单参数情况来介绍贝叶斯估计的概念和方法，并逐步推广到单变量多参数贝叶斯估计和一般网络参数贝叶斯估计。

3.3.1 单参数贝叶斯估计

考虑如下两个问题：
（1） 假设投掷一枚图钉6次，其中2次帽向上，4次尖向上，问下一次投掷帽向上的概率是多少？
（2） 若将上一问中的图钉换成硬币，帽为正面，尖为反面，则下一次投掷正面向上的概率是多少？
若按照最大似然估计原则，这两个问题的答案都是$\frac{2}{6}$，但直观上我们会感觉投掷硬币的概率应该比较平均，将$\frac{2}{6}$作为问题（1）的答案比较合理，而作为问题（2）的答案则不能令人信服。
最大似然估计不能区分以上两种情况，因为它将待估参数视为一个未知但固定的值，不考虑先验知识的影响。而贝叶斯估计则将待估参数视为一个随机变量，其所服从的先验分布体现了对该参数的先验知识。
我们从这个最简单的单参数估计问题来引出贝叶斯估计的概念。在这个问题中，我们的待估参数$\theta$为投掷图钉帽面朝上（投掷硬币正面朝上）的概率。贝叶斯估计是计算$\theta$的后验分布。为此，首先要选用一个概率分布$p(\theta )$来总结关于$\theta$的先验知识，然后将数据$D=(D_1,D_2,\cdots )$的影响用似然函数$L(\theta |D)=P(D|\theta )$来归纳，最后使用贝叶斯公式将先验分布和似然函数结合，得到$\theta$的后验分布，即：
$$\begin{array}{rl}p(\theta |D)& =\frac{L(\theta |D)p(\theta )}{p(D)}\\ & \propto L(\theta |D)p(\theta )\end{array}\text{\hspace{1em}(1)}$$
上式中的分母可以看作是归一化项，给定一个数据集D，其概率就已经确定，是一个常数，在进行贝叶斯最大后验概率估计（ Bayesian MAP estimation）时，省略该分母不影响最终结果：
$$\begin{array}{rl}{\theta }^{\ast }& =\underset{\theta }{\mathrm{argmax}}p(\theta |D)\\ & =\underset{\theta }{\mathrm{argmax}}L(\theta |D)p(\theta )\end{array}$$
我们也可以进行完全贝叶斯估计（full Bayesian estimation），即计算待估参数在后验分布下的期望：
$${\theta }^{\ast }=\int \theta p(\theta |D)d\theta$$
在积分计算比较困难时，可使用最大后验概率估计替代。若无特别说明，后文所指都是完全贝叶斯估计。
为了方便计算，需要对数据集做独立同分布假设，即给定$\theta$，D中的样本满足i.i.d.假设，从而样本集的似然函数$L(\theta |D)$可改写为：
$$L(\theta |D)={\theta }^{m_h}(1-\theta {)}^{m_t}$$
其中$m_h,m_t$分别表示数据集D中图钉帽朝上和尖朝上的样本个数。
而参数的先验分布$p(\theta )$一般假设是一个Beta分布$B[{\alpha }_h,{\alpha }_t]$，即：
$$p(\theta )=\frac{\Gamma ({\alpha }_h+{\alpha }_t)}{\Gamma ({\alpha }_h)\Gamma ({\alpha }_t)}{\theta }^{{\alpha }_h-1}(1-\theta {)}^{{\alpha }_t-1}$$
关于Gamma函数、Beta分布，以及后面推广到多参数时的Dirichlet分布，在分布的分布一节中已经介绍过，不熟悉的读者可先跳转过去打牢基础。
假设$\theta \sim B[{\alpha }_h,{\alpha }_t]$相当于假设关于$\theta$的先验知识是已经投掷了${\alpha }_h+{\alpha }_t$次，其中${\alpha }_h$次帽朝上，${\alpha }_t$次尖朝上。${\alpha }_h,{\alpha }_t$称为超参数，${\alpha }_h+{\alpha }_t$称为等价样本量。
将似然函数和先验分布代入式(1)，可得：
$$\begin{array}{rl}p(\theta |D)& \propto {\theta }^{m_h}(1-\theta {)}^{m_t}{\theta }^{{\alpha }_h-1}(1-\theta {)}^{{\alpha }_t-1}\\ & ={\theta }^{m_h+{\alpha }_h-1}(1-\theta {)}^{m_t+{\alpha }_t-1}\end{array}$$
由此可知，$\theta$的后验分布$p(\theta |D)$也服从Beta分布，其超参数为$m_h+{\alpha }_h,m_t+{\alpha }_t$，上式增加归一化项后的完整形式为：
$$p(\theta |D)=\frac{\Gamma (m_h+{\alpha }_h+m_t+{\alpha }_t)}{\Gamma (m_h+{\alpha }_h)\Gamma (m_t+{\alpha }_t)}{\theta }^{m_h+{\alpha }_h-1}(1-\theta {)}^{m_t+{\alpha }_t-1}$$
从而$\theta$的完全贝叶斯估计为：
$$\begin{array}{rl}{\theta }^{\ast }& =\int \theta p(\theta |D)d\theta \\ & =\frac{\Gamma (m_h+{\alpha }_h+m_t+{\alpha }_t)}{\Gamma (m_h+{\alpha }_h)\Gamma (m_t+{\alpha }_t)}\int \theta {\theta }^{m_h+{\alpha }_h-1}(1-\theta {)}^{m_t+{\alpha }_t-1}d\theta \\ & =\frac{m_h+{\alpha }_h}{m_h+{\alpha }_h+m_t+{\alpha }_t}\end{array}\text{\hspace{1em}(2)}$$
关于该积分的计算技巧，可参考分布的分布一节，也可直接使用该节中给出的关于Beta分布期望的结论。
由式(2)可知；当样本量较小时，该估计主要依赖于先验知识；当样本量很大时，该估计主要依赖样本数据，并逐渐接近最大似然估计$\frac{m_h}{m_h+m_t}$，先验知识的影响逐渐减小。
回到本节开头提出的掷图钉和掷硬币的实验：由于我们没有关于掷图钉的先验知识，可以假设先验分布为$B[0,0]$；而关于掷硬币，我们的先验知识是正面朝上的概率为$\frac{1}{2}$，但又不能完全排除这是一枚魔术硬币，所以可假设其先验分布为$B[100,100]$。样本集D中的$m_h=2,m_t=4$，分别代入式(2)，可得：

• 掷图钉时帽朝上的概率$\theta$的贝叶斯估计为$\frac{2+0}{6+0}=\frac{2}{6}$
• 掷硬币时头朝上的概率$\theta$的贝叶斯估计为$\frac{2+100}{6+200}\approx \frac{1}{2}$

若假设投掷硬币60000次，得到20000次正面朝上，即$m_h=20000,m_t=40000$，那么：

• 掷硬币时头朝上的概率$\theta$的贝叶斯估计为$\frac{20000+100}{60000+200}\approx \frac{2}{6}$

这里，样本量很大，数据占据主导，关于硬币均匀的先验知识被数据修正，可断定该硬币为魔术硬币。

共轭分布与增量学习
在分布的分布一节中，介绍过共轭分布的概念。Beta分布是二项似然函数的共轭分布，即先验分布服从Beta分布，似然函数服从二项分布，则后验分布也服从Beta分布。若假设先验分布服从正态分布，则贝叶斯估计的计算会很困难。这正是共轭分布带来的好处。
后面将单参数贝叶斯估计推广到多参数时，Beta分布变为对应的Dirichlet分布，其与多项分布是共轭分布。
共轭分布使得我们可以清楚地观察到贝叶斯估计是如何将先验知识与观测数据结合到一起的，而这一过程可循序渐进地进行，即可以一个一个地处理数据样本，每处理一个就更新一次参数，这种参数更新方式即为及其学习中的增量学习。
与在线学习对应的是批量学习，批量学习则需要一次处理所有数据，当新数据出现后，需要和老数据混合后重新进行参数估计。该过程完全不依赖之前的估计。贝叶斯估计既可以进行增量学习，也可以进行批量学习。

3.3.2 单变量多参数贝叶斯估计

考虑一个由多值变量X组成的单节点贝叶斯网，设X有r种取值， Ω X = { x 1 , x 2 , ⋯   , x r } \Omega_X=\{x_1,x_2,\cdots,x_r\} ΩX​={x1​,x2​,⋯,xr​}，则该单节点贝叶斯网存在r个待估参数${\theta }_i=P(X=x_i),i=1,2,\cdots ,r$。用$\mathbf{\theta }$记向量$({\theta }_1,{\theta }_2,\cdots ,{\theta }_r)$，其中${\sum }_{i=1}^r{\theta }_i=1$。设有一组i.i.d.数据$D=(D_1,D_2,\cdots ,D_m)$，其中满足$X=x_i$的样本个数是$m_i$，则可得到似然函数：
$$L(\mathbf{\theta }|D)=\prod _{i=1}^r{\theta }_i^{m_i}\text{\hspace{1em}(3)}$$
具有这种形式的似然函数称为多项似然函数，其中的 { m i ∣ i = 1 , 2 , ⋯   , r } \{m_i|i=1,2,\cdots,r\} {mi​∣i=1,2,⋯,r}是充分统计量。
多项似然函数的共轭分布是Dirichlet分布，因此在进行贝叶斯估计时，一般假设$\mathbf{\theta }$的先验分布为$D[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r]$，即：
$$p(\mathbf{\theta })=\frac{\Gamma (\alpha )}{{\prod }_{i=1}^r\Gamma ({\alpha }_i)}\prod _{i=1}^r{\theta }_i^{{\alpha }_i-1}\text{\hspace{1em}(4)}$$
其中$\alpha ={\sum }_{i=1}^r{\alpha }_i$。当r=2时，Dirichlet分布$D[{\alpha }_1,{\alpha }_2]$就是Beta分布$B[{\alpha }_1,{\alpha }_2]$。
假设$\mathbf{\theta }$的先验分布为$D[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r]$等于假设关于$\mathbf{\theta }$的先验知识包括$\alpha$个虚拟数据样本，其中满足$X=x_i$的样本数为${\alpha }_i$个，$\alpha$称为等价样本量。
将式(3)(4)代入贝叶斯公式，可得$\mathbf{\theta }$的后验概率分布满足：
$$\begin{array}{rl}p(\mathbf{\theta }|D)& \propto \prod _{i=1}^r{\theta }_i^{m_i}\frac{\Gamma (\alpha )}{{\prod }_{i=1}^r\Gamma ({\alpha }_i)}\prod _{i=1}^r{\theta }_i^{{\alpha }_i-1}\\ & \propto \prod _{i=1}^r{\theta }_i^{m_i+{\alpha }_i-1}\end{array}$$
即$p(\mathbf{\theta }|D)$是Dirichlet分布$D[m_1+{\alpha }_1,m_2+{\alpha }_2,\cdots ,m_r+{\alpha }_r]$。
在分布的分布一节中推导过Dirichlet分布的期望，从而可得$\mathbf{\theta }$中各分量${\theta }_i$的完全贝叶斯估计为：
$${\theta }_i^{\ast }=\int {\theta }_{i}p(\mathbf{\theta }|D)d\mathbf{\theta }=\frac{m_i+{\alpha }_i}{m+\alpha }$$
由此可知，当样本量m很小时，该估计主要依赖先验知识；当样本量m很大时，该估计逐渐接近最大似然估计，先验知识的影响逐渐减小。

3.3.3 一般网络贝叶斯估计

考虑一个由$n$个变量 X = { X 1 , X 2 , ⋯   , X n } X=\{X_1,X_2,\cdots,X_n\} X={X1​,X2​,⋯,Xn​}组成的贝叶斯网$N$。不失一般性，设其中的节点$X_i$共有$r_i$个取值$1,2,\cdots ,r_i$，其父节点$\pi (X_i)$的取值共有$q_i$种组合$1,2,\cdots ,q_i$。若$X_i$无父节点，则$q_i=1$。那么，网络的参数为：
$${\theta }_{ijk}=P(X_i=k|\pi (X_i)=j)$$
其中$i$的取值范围是$1,2,\cdots ,n$，表示$n$个变量中的第$i$个。对于第$i$个变量$X_i$，$j$的取值范围是$1,2,\cdots ,q_i$，表示其父节点$\pi (X_i)$的第$j$种取值组合；$k$的取值范围是$1,2,\cdots ,r_i$，表示$X_i$的第$k$种取值。用$\mathbf{\theta }$记所有${\theta }_{ijk}$组成的向量，由于概率归一性，该贝叶斯网$N$的独立参数个数为${\sum }_{i=1}^n{q}_i(r_i-1)$。
要对参数$\mathbf{\theta }$进行贝叶斯估计，首先要将$\mathbf{\theta }$视为随机变量，并将关于$\mathbf{\theta }$的先验知识表示为一个先验概率分布$p(\mathbf{\theta })$。然后计算在观测到i.i.d.数据$D=(D_1,D_2,\cdots ,D_m)$以后，$\mathbf{\theta }$的后验概率分布$p(\mathbf{\theta }|D)$，并用$\mathbf{\theta }$在该后验概率分布下的期望作为对$\mathbf{\theta }$的贝叶斯估计。
与上一讲最大似然估计相同，我们知道$\mathbf{\theta }$的似然函数为：
$$L(\mathbf{\theta }|D)=\prod _{i=1}^n\prod _{j=1}^{q_i}\prod _{k=1}^{r_i}{\theta }_{ijk}^{m_{ijk}}$$
根据贝叶斯公式，有：
$$p(\mathbf{\theta }|D)\propto p(\mathbf{\theta })\prod _{i=1}^n\prod _{j=1}^{q_i}\prod _{k=1}^{r_i}{\theta }_{ijk}^{m_{ijk}}$$
为了便于计算，我们需要对先验分布$p(\mathbf{\theta })$作一些共轭性假设。首先引入两个新记号：

• ${\mathbf{\theta }}_{ij\bullet }$表示由${\theta }_{ij1},\cdots ,{\theta }_{ij{r}_i}$所组成的子向量
• ${\mathbf{\theta }}_{i\bullet \bullet }$表示由${\theta }_{i1\bullet },\cdots ,{\theta }_{i{q}_i\bullet }$所组成的子向量

${\mathbf{\theta }}_{i\bullet \bullet }$包含所有关于变量$X_i$的条件概率分布$P(X_i|\pi (X_i))$的参数，而${\mathbf{\theta }}_{ij\bullet }$包含所有关于分布$P(X_i|\pi (X_i)=j)$的参数。
关于$p(\mathbf{\theta })$我们做如下三个假设：

1. 全局独立假设：关于不同变量$X_i$的参数相互独立，即
   $$p(\mathbf{\theta })=\prod _{i=1}^{n}p({\mathbf{\theta }}_{i\bullet \bullet })$$
2. 局部独立假设：给定一个变量$X_i$，对应于$\pi (X_i)$的不同取值的参数相互独立，即
   $$p({\mathbf{\theta }}_{i\bullet \bullet })=\prod _{j=1}^{q_i}p({\mathbf{\theta }}_{ij\bullet })$$
3. $p({\mathbf{\theta }}_{ij\bullet })$是Dirichlet分布$D[{\alpha }_{ij1},{\alpha }_{ij2},\cdots ,{\alpha }_{ij{r}_i}]$

在上述三个假设下，有：
$$p(\mathbf{\theta })=\prod _{i=1}^{n}p({\mathbf{\theta }}_{i\bullet \bullet })=\prod _{i=1}^n\prod _{j=1}^{q_i}p({\mathbf{\theta }}_{ij\bullet })\propto \prod _{i=1}^n\prod _{j=1}^{q_i}\prod _{k=1}^{r_i}{\mathbf{\theta }}_{ijk}^{{\alpha }_{ijk}-1}$$
该式定义的$p(\mathbf{\theta })$称为乘积Dirichlet分布。
将似然函数和先验概率分布代入贝叶斯公式，可得$\mathbf{\theta }$的后验概率分布为：
$$\begin{array}{rl}p(\mathbf{\theta }|D)& \propto \prod _{i=1}^n\prod _{j=1}^{q_i}\prod _{k=1}^{r_i}{\theta }_{ijk}^{m_{ijk}}\prod _{i=1}^n\prod _{j=1}^{q_i}\prod _{k=1}^{r_i}{\mathbf{\theta }}_{ijk}^{{\alpha }_{ijk}-1}\\ & =\prod _{i=1}^n\prod _{j=1}^{q_i}\prod _{k=1}^{r_i}{\mathbf{\theta }}_{ijk}^{m_{ijk}+{\alpha }_{ijk}-1}\end{array}$$
由此可知，后验分布也是一个乘积Dirichlet分布，也具有全局和局部独立性，从而有$p({\mathbf{\theta }}_{ij\bullet })$为Dirichlet分布$D[m_{ij1}+{\alpha }_{ij1},\cdots ,m_{ij{r}_i}+{\alpha }_{ij{r}_i}]$。
下面我们考虑$\mathbf{\theta }$的任一分量${\theta }_{ijk}$的贝叶斯估计，即其在该后验概率分布$p(\mathbf{\theta }|D)$下的期望：
$$\begin{array}{rl}{\theta }_{ijk}^{\ast }& =\int {\theta }_{ijk}p(\mathbf{\theta }|D)d\mathbf{\theta }\\ & =\int {\theta }_{ijk}\prod _{l=1}^n\prod _{s=1}^{q_l}p({\mathbf{\theta }}_{ls\bullet }|D)d{\mathbf{\theta }}_{ls\bullet }\text{全局和局部独立性}\\ & =\int {\theta }_{ijk}p({\mathbf{\theta }}_{ij\bullet }|D)d{\mathbf{\theta }}_{ij\bullet }\text{Dirichlet分布}\\ & =\frac{m_{ijk}+{\alpha }_{ijk}}{{\sum }_{k=1}^{r_i}{m}_{ijk}+{\alpha }_{ijk}}\text{Dirichlet分布的期望}\end{array}\text{\hspace{1em}(5)}$$
从而，对于任一给定的测试数据$D_{m+1}$，我们可以计算在参数${\mathbf{\theta }}^{\ast }$下的概率：
$$P(D_{m+1}|{\mathbf{\theta }}^{\ast })=\prod _{i=1}^n\sum _{j=1}^{q_i}\sum _{k=1}^{r_i}\chi (i,j,k:D_{m+1})\frac{m_{ijk}+{\alpha }_{ijk}}{{\sum }_{k=1}^{r_i}{m}_{ijk}+{\alpha }_{ijk}}$$
其中$\chi (i,j,k:D_{m+1})$为指示函数，当数据$D_{m+1}$满足$P(X_i=k|\pi (X_i)=j)$时，该函数为1，否则为0.
例 考虑如下图(a)所示的贝叶斯网$N$，其中所有变量均取二值1或2。右侧表格(b)为关于NN的一组i.i.d.数据。

对该网络的参数进行贝叶斯估计，首先要假设参数$p(\mathbf{\theta })$为乘积Dirichlet分布，其超参数 α = { α i j k ∣ i = 1 , 2 , 3 ; j = 1 , ⋯   , q i ; k = 1 , 2 } \bm\alpha=\{\alpha_{ijk}|i=1,2,3;j=1,\cdots,q_i;k=1,2\} α={αijk​∣i=1,2,3;j=1,⋯,qi​;k=1,2}如下表©所示。

这等价于关于$\mathbf{\theta }$的先验知识是如下表(d)所示的虚拟数据集$D^{\prime }$。

其等价样本量为4.根据式(5)，可得$\mathbf{\theta }$的后验分布$p(\mathbf{\theta }|D)$，其也是乘积Dirichlet分布，其超参数如下表(e)所示。

对于第$i$个节点$X_i$，若给定其父节点取值$\pi (X_i)=j$，则该节点的取值服从Dirichlet分布，对参数${\mathbf{\theta }}_{ij\bullet }$的完全贝叶斯估计则是计算其在该Dirichlet分布下的期望，见式(5)，计算结果见下表(f)。

3.3.4 缺值数据贝叶斯估计

当样本集数据中的数据存在缺值时，似然函数则无法直接给出，因而没有计算贝叶斯估计的闭公式。为了解决该问题，可采用近似的方法，如碎权更新方法就是一种较常用的近似方法。
碎权更新首先设定先验概率分布$p(\mathbf{\theta })$是乘积Dirichlet分布，然后按顺序逐个处理数据样本。在处理当前样本时，若样本有缺值，则利用先前的估计对样本进行修补，然后再利用该样本更新对$\mathbf{\theta }$的估计。在整个过程中，对$\mathbf{\theta }$的估计在不断变化，但始终服从乘积Dirichlet分布。
经过$l$次参数更新，处理完前$l$个样本$D_1,D_2,\cdots ,D_l$后，得到$p(\mathbf{\theta }|D_1,D_2,\cdots ,D_l)$的一个近似，它是一个乘积Dirichlet分布，记其超参数为 α l = { α i j k l ∣ i = 1 , ⋯   , n ; j = 1 , ⋯   , q i ; k = 1 , ⋯   , r i } \bm\alpha^l=\{\alpha_{ijk}^l|i=1,\cdots,n;j=1,\cdots,q_i;k=1,\cdots,r_i\} αl={αijkl​∣i=1,⋯,n;j=1,⋯,qi​;k=1,⋯,ri​}.从而可得到基于该超参数的参数$\mathbf{\theta }$的完全贝叶斯估计，记作${\mathbf{\theta }}_l^{\ast }$，下标$(l)$表示第$l$次更新后的参数估计。基于该估计，计算下一个样本$D_{l+1}$中的缺值项。具体计算方法如下。
设$X_{(l+1)}$是$D_{l+1}$中所有缺值变量的集合，对$X_{(l+1)}$的任一取值$x_{(l+1)}$，我们可以通过已估计的参数${\mathbf{\theta }}_l^{\ast }$来计算$X_{(l+1)}=x_{(l+1)}$的碎权权重$w_{x_{(l+1)}}=P(X_{(l+1)}=x_{(l+1)}|{\mathbf{\theta }}_{(l)}^{\ast },D_{l+1})$，其计算方法如下：
$$w_{x_{(l+1)}}=\frac{P(X_{(l+1)}=x_{(l+1)},D_{l+1}|{\mathbf{\theta }}_{(l)}^{\ast })}{{\sum }_{x_{(l+1)}\in \Omega (X_{(l+1)})}P(X_{(l+1)}=x_{(l+1)},D_{l+1}|{\mathbf{\theta }}_{(l)}^{\ast })}$$
进而可将该缺值样本$D_{l+1}$转变为一组带有权重的完整样本，称为碎权完整样本集： { ( D l + 1 , X ( l + 1 ) = x ( l + 1 ) ) [ w x ( l + 1 ) ] , ⋯   } \{(D_{l+1},X_{(l+1)}=x_{(l+1)})[w_{x_{(l+1)}}],\cdots\} {(Dl+1​,X(l+1)​=x(l+1)​)[wx(l+1)​​],⋯}，其中$x_{(l+1)}\in \Omega (X_{(l+1)})$.
根据该组碎权完整样本集对超参数${\mathbf{\alpha }}^l$进行第$l+1$次更新：
$${\alpha }_{ijk}^{l+1}={\alpha }_{ijk}^l+\sum _{x_{(l+1)}\in \Omega (X_{(l+1)})}\chi (i,j,k:D_{l+1},X_{(l+1)}=x_{(l+1)})w_{x_{(l+1)}}$$
例 如下图(a)和(b)所示的贝叶斯网N和缺值数据集D，用碎权更新计算N的参数的贝叶斯估计。

首先假设参数$\mathbf{\theta }$的先验分布是乘积Dirichlet分布，其超参数${\mathbf{\alpha }}^0$如下：

从${\mathbf{\alpha }}^0$出发，首先考虑第一个样本$D_1=(1,1,1)$，其为完整数据，可直接更新先验分布$p(\mathbf{\theta })$，得到参数的后验分布$p(\mathbf{\theta }|D_1)$，其也是一个乘积Dirichlet分布，超参数${\mathbf{\alpha }}^1$如下：

接下来考虑$D_2=(2,2,2)$，它也是完整数据，可直接更新，更新后的超参数${\mathbf{\alpha }}^2$如下：

接下来考虑$D_3=(1,-,1)$，其中$X_2$缺值，需要修补。利用已估算出的${\mathbf{\theta }}_2^{\ast }$来计算碎权权重$P(X_2|{\mathbf{\theta }}_2^{\ast },D_3)$，修补后的碎权完整样本集如下：

用这两个碎权完整样本进行更新，更新后的超参数${\mathbf{\alpha }}^3$如下：

最后来考虑$D_4=(2,-,2)$，其中$X_2$缺值，需要修补。利用已估算出的${\mathbf{\theta }}_3^{\ast }$来计算碎权权重$P(X_2|{\mathbf{\theta }}_3^{\ast },D_4)$，修补后的碎权完整样本集如下：

用这两个碎权完整样本进行更新，更新后的超参数${\mathbf{\alpha }}^4$如下：

注意，碎权更新的结果受处理样本的顺序影响，顺序不同，最终结果可能会不同。

3.3.5 小结

贝叶斯网参数的学习有两种方法：最大似然估计方法和贝叶斯估计方法。我们用三讲（分布的分布、最大似然估计估计、贝叶斯估计）将这两种方法进行了详细介绍，并分别探讨了缺值数据下极大似然估计和贝叶斯估计的方法。
前面介绍的贝叶斯网参数学习是在贝叶斯网结构已确定的情况下进行的，在面对一个新问题时，我们往往连贝叶斯网的结构都还没有，从下一讲开始将对贝叶斯网结构学习进行介绍。