机器学习----贝叶斯分类器（贝叶斯网络）

最新推荐文章于 2024-08-06 18:40:23 发布

这题我会啊

最新推荐文章于 2024-08-06 18:40:23 发布

阅读量4k

点赞数 1

分类专栏： machine-learning 文章标签：机器学习贝叶斯分类器贝叶斯网络

本文链接：https://blog.csdn.net/Love_wanling/article/details/70159363

版权

本文介绍了马尔可夫链的概念，随后深入探讨了贝叶斯网络，包括其在表示复杂依赖关系中的应用，以及生成与推断的过程。通过评分函数和最小描述长度准则来学习网络结构，并利用吉布斯采样进行推断。最后，将贝叶斯网络与主题模型相联系，展示了它们在文档分析中的应用。

摘要由CSDN通过智能技术生成

马尔可夫链

马尔可夫链（Markov Chain）是指数学中具有马尔可夫性质的离散事件随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。

贝叶斯网络

很多情况下，事物之间的相互联系并不能用一条链来串起来，很可能是交叉的、错综复杂的。这时候我们就用到了贝叶斯网络。
贝叶斯网络（Bayesian network）亦称“信念网络”（belief network），它借助有向无环图（Directed Acyclic Graph，DAG）来刻画属性之间的依赖关系，并使用条件概率表（Conditional Probability Table，CPT）来描述属性的联合概率分布。
这里写图片描述
上图是一个描述心血管疾病和成因的简单贝叶斯网络每个圆圈表示一个状态，状态之间的连线表示因果关系。每一个关系有一个描述因果强度的东西，叫可信度（Belief），也就是说贝叶斯网络上的边是有权重的。A和B相连说明，AB有因果关系。ABC相连，AB没有直接的因果关系，但是A会通过B作用C。

生成与推断

生成

若网络结构已知，即属性间的关系已经知道，则贝叶斯网络的学习过程相对简单，只需通过对训练样本“计数”，估计出每个节点的条件概率即可。但是现实情况中，网络结构往往不知道。我们引入“评分函数”（score function）来解决这个问题。
常用的评分函数通常基于信息论转自，此类准则将学校问题看做一个数据压缩任务，学习的目标是找到一个以最短编码长度描述训练数据的模型。此时，编码长度包括了描述模型自身所需的字节长度和使用该模型描述数据所需的字节长度。这就是“最小描述长度”（Minimal Description Length，MDL）准则。
给定训练集 D={ x1