《数学之美》马尔科夫链的扩展-贝叶斯网络

1.使用贝叶斯网络需要首先确定此网络的拓扑结构，并且还要知道各个状态之间相关的概率，即拓扑结构和这些参数的过程称为结构训练和参数训练。

2.结构训练：优化的贝叶斯网络结构要保证它产生的序列从头到尾的可能性最大，即后验概率最大。  当然，产生一个序列可以有多条路径，从理论上讲，需要完备的搜索，即考虑每一条路径，才能得到全局最优。但计算复杂度大，因此一般采用贪婪的算法，也就是在每一步时，沿着箭头的方向寻找有限步。这样会陷入局部最优，一个防止显然局部最优的方法，是采用蒙特卡罗的方法（用许多随机数在贝叶斯网络中试一试，看看是否显然局部最优）。但是计算量大。最近，新的方法是利用信息论，计算节点之间两两的互信息，然后只保留互信息交大的节点的直接连接性，然后再对简化的网络进行完备的搜索，找到全局优化的结构。

3参数训练：.确定结构后，确定节点之间的弧的权重，这些权重用条件概率来度量。需要一些训练数据，我们需要优化贝叶斯网路的参数，使得这些数据的概率（后验概率）P（D|&）达到最大。利用EM过程。

4.在计算联合概率P（X, Y）时，训练数据会提供一些P（X, Y）之间的限制条件，而训练出来的模型要满足这些限制条件。（此模型应该是满足给定条件的“最大熵模型”）。

5.指明结构的训练和参数的训练通常是交替进行的。先优化参数，在优化结构，然后再次优化参数，知道得到收敛或者误差足够小的模型。