《数学之美》第24章 马尔可夫链的扩展--贝叶斯网络

1 贝叶斯网络

    由于网络的每个弧都有一个可信度，贝叶斯网络也被称作信念网络。

    贝叶斯网络的拓扑结构比马尔可夫链灵活，它不受马尔可夫链的链状结构的约束，因此可以更准确的描述时间的相关性。可以讲，马尔可夫链是贝叶斯网络的特例，而朴素贝叶斯网络是马尔可夫链的推广。

    在文字处理方面，语义相近的词之间的关系可以用一个贝叶斯网络来描述。

2 贝叶斯网络在词分类中的应用

3 贝叶斯网络的训练

    利用信息论，计算节点之间两两的互信息，只保留互信息较大的节点直接的连接，然后在对简化了的网络进行完备的搜索，找到全局优化的结构。

    结构的训练和参数的优训练通常是交替进行的。也就是先优化参数，再优化结构，然后再次优化参数，直至得到收敛或者误差足够小的模型。