贝叶斯网基础（熵、相对熵、条件独立）

（1）边缘概率=先验概率

这个太简单了不解释了

条件概率=后验概率

X和Y，Y取值为y时X的概率变化后的结果表示为：P(X|y）

联合分布

P(X,Y)

边缘独立

X和Y独立，P(X,Y)=P(X)P(Y)。这个就是概率论里的相互独立

条件独立

X和Y,Z.  P(X,Y|Z)=P(X|Z)P(Y|Z)。有时在Z不是确定的时候X,Y是不相互独立的，但是在确定Z后他们反而相对独立了。

（2）熵：就是形容一个随机事件的不确定程度的量，其取值范围是0到1。很明显越接近1说明其越混乱。

联合熵H(X,Y),具体计算只是将原来的边缘概率换成了联合概率。

条件熵H（X|Y=y）,表示在Y取y值时X的概率函数计算出来的熵

互信息I（X;Y）=H(X)-H(X|Y)表示在给定Y和不给定Y的情况下两者的差距，若其等于0说明给定Y和不给定Y都一样，因此他们是边缘独立的。

X和Y的条件互信息I(X;Y|Z)=I(X|Z)-I(X|Y,Z)表示在给定Z的条件下，再给定Y和不给定Y的情况下X的熵的变化情况，若为0则表示X和Y条件独立。

结论：这些内容来自书籍【贝叶斯网引论】第一章的内容，第一章首先将概率的描述划分为三种概率，条件、边缘、联合，再推广到边缘独立和条件独立。

由于熵是随机变量的另一种度量，又建立了熵和独立的关系。