[Python嗯~机器学习]---贝叶斯网络

贝叶斯网络

首先，我们再想一下，相对熵和互信息


相对熵是表示两个随机分布之间的距离，也是最大期望算法（EM）的损失函数，是一个大于等于 0 的值。
互信息是设两个随机变量  的联合分布为 ，边际分布分别为 ，互信息  是联合分布 与乘积分布 的相对熵。

概率公式：

 

具体应用例子：http://blog.sciencenet.cn/blog-82650-255141.html 参考邱士利的博客