机器学习进阶-贝叶斯网络

相对熵：又称互熵，交叉熵，鉴别信息

 互信息：

 信息增益

 概率公式

朴素贝叶斯假设

一个特征出现的概率与其他特征独立，每个特征同等重要

高斯朴素贝叶斯

 

 贝叶斯网络

把某个研究系统中设计的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。

贝叶斯网络又称有向无环图模型DAG，是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量及其n组条件概率分布的性质。

概率图模型  条件随机场CRF

贝叶斯网络的有向无环图中的节点表示随机变量，他们可以是可观察到的变量或隐变量、未知参数等，连接两个节点的箭头代表此两个随机变量是具有因果关系。若两个节点间以一个单箭头连接在一起，表示其中一个节点是因另一个是果，两节点就会产生一个条件概率值

每个节点在给定其直接前驱时，条件独立于其非后继。

全连接贝叶斯网络：每一对节点之间都有边连接  5个节点有10条边

特殊的贝叶斯网络 结点形成一条链式网络乘坐马尔可夫模型