机器学习之贝叶斯网络

贝叶斯网络是一种概率图模型，是一种有效的不确定性知识表达和推理工具。贝叶斯网络的学习包括：结构学习以及参数学习两部分。

 

根据结构学习算法特点的不同，把结构学习算法归纳为基于约束的学习、基于评分搜索的学习、混合学习、动态规划结构学习、模型平均结构学习和不完备数据集的结构学习。

 

基于约束的学习：CB 学习算法, 一般使用CI 检验或互信息来辨识变量间的依赖关系和独立关系, 然后建立满足这些关系的网络.但是, CB 算法的性能取决于CI 检验的次数和约束集的大小. 约束集越大, 高阶CI 检验的次数越多, 则算法的精度越低, 所以CB 算法一般适用于稀疏贝叶斯网络. 而且, 结构学习过程中对检验错误具有高度敏感性, 当某次CI 检验出错时,会直接误导后续的检验结果.

 

基于评分搜索的学习：SS 学习算法把结构学习问题处理为模型选择问题, 由评分函数和搜索算法两部分组成. 评分函数用于评价候选结构与数据的拟合度, 拟合越好, 则评分越高. 搜索算法在候选结构组成的空间上搜索评分最高的结构. 但是, 由于候选结构空间大小随着节点数的增加而指数增加, 所以搜索任务是NP 难的.搜索空间一般分三种: DAG 组成的空间、DAG 等价类组成的空间和变量序列组成的空间. 大多数搜索算法都是基于DAG 空间开发的. 当在DAG 等价类空间或变量序列空间上搜索时, 结构学习过程会更快.

 

混合学习算法：虽然CB 学习算法相对快速, 并具有定义良好的停止规则, 但是其性能依赖于CI 检验的次数, 而且前阶段的检验错误对后阶段的检验有连锁反应.而SS 学习算法可以灵活地把专家经验知识以结构先验概率分布的形式融入到学习过程中, 并且可以处理不完备数据情况. 但SS 算法收敛速度慢, 计算复杂. 混合学习算法把这两种算法结合起来, 利用各自的优点, 不需要一开始就构建完整的网络, 而是构建目标节点附近的局部图. 混合学习算法一般先使用CI检验来构造变量序列或缩减搜索空间, 然后再通过SS 算法学习结构.