信息熵，联合熵，条件熵，交叉熵，相对熵+例子

1. 信息熵（Information Entropy）

所谓熵也就是信息的不确定性，也就是混乱程度，举个例子便于理解。
我们玩一个大转盘，有32个格子，分别标了1-32的数字，格子大小都一样，那么转动以后每个格子被指针指到的概率也是一样的。那么在转盘转动之前我们要下注的话就很纠结了，随便下哪一个都一样。这时候整个系统的信息是非常混乱无序的。
我现在转好了让你猜是哪个数字，你会怎么猜？我会问，是1-16里面的么?如果不是，那么我会猜：是17到28里的么？最坏情况我需要猜五次，才能确定到底是哪个数字。
如果每次猜对是1，猜错是0，那么表达出来就可能是10101，一共五个数字可以表示最后的结果，我们说这个数字的信息量是5
5 = log32（这里的log都是以2为底）

我们变化一下，假如其中数字1的格子占了31份，那么我们要猜是不是1，那么第一个问题肯定会问，是不是1啊，有31/32的几率会猜对，这时候整个系统就没有那么混乱了。
为了衡量这个混乱程度，信息学里引入了熵的概念， H(xi)表示某个变量的熵

整个系统的熵：

如果每个数字的概率都是1/32的话ÿ