互信息，条件熵，联合熵

看到一个图介绍互信息，条件熵，联合熵，还不错，做个记录：

图上的红色和黄色圈分别代表X,Y原始的信息量H(X)/H(Y)/熵值。 （注意信息量度量的是一个具体事件发生了所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望）

I(X;Y) : 表示互信息， 知道X，Y损失了多少信息量（知道Y，X损失了多少信息量）。
H(X|Y)或H(Y|X): 表示条件熵， 知道X，Y还剩多少信息量（H(Y|X)）。或者知道Y后，X还剩多少信息量（H(X|Y)）。
H(XY): 联合熵，XY联合起来有多少信息量(H(XY))。

图上可以看出：
I(X;Y) = H(X)-H(X|Y)
I(X;Y) = H(Y)-H(Y|X)
I(X;Y) = H(X)+H(Y)-H(XY)

参考：
https://blog.csdn.net/class_brick/article/details/79651173
https://www.cnblogs.com/wqbin/p/12752610.html