熵、联合熵j、条件熵、相对熵、互信息的定义

熵：又称自信息，可以视为描述一个随机变量的不确定性的数量，它表示信源X每发一个符号，所提供的平均信息量。一个随机变量的熵越大，它的不确定性就越大，正常估计其值的可能性就越小，越不确定的随机变量越需要大的信息量用以确定其值。

联合熵：描述一对随机变量平均所需要的信息量

条件熵：给定随机变量X的情况下，随机变量Y的条件熵

相对熵：又称为KL距离，是衡量相同事件空间里的两个概率分布相对差距的测度。相对熵越大，两个函数差异越大；反之，相对熵越小，两个函数差异越小。
互信息：I（x,y）反映的是知道了Y以后X的不确定性的减少量，可以理解为Y的值透露了X多少信息量。