【信息论】图形记忆熵、联合熵、条件熵、互信息之间的关系

图片取自http://colah.github.io/posts/2015-09-Visual-Information/

基本概念

（1）熵，也叫信息熵，为上图的$H(X)$与$H(Y)$。
$H(X)$表示随机变量$Y$的不确定性。
$H(Y)$表示随机变量$X$的不确定性。

（2）条件熵，为上图的$H(X|Y)$与$H(Y|X)$。
$H(X|Y)$表示在已知随机变量$Y$的条件下，随机变量$X$的不确定性。
$H(Y|X)$表示在已知随机变量$X$的条件下，随机变量$Y$的不确定性。

（3）联合熵，为上图的$H(X,Y)$。
H ( X , Y ) H(X,Y)