熵、联合熵、条件熵

转载自here
各种熵比较
熵表示不确定性，引入一个故事

小明班有32个人，在你不认识小明的情况下，采用问问题的方式，知道小明班的第一名是谁？小明只能回答是或者不是。
你们班的第一名学号在1-16之间吗？
是。
你们班的第一名学号在1-8之间吗？
不是。
…

不难算出，至少问小明5次能得到答案。但是假如你认识小明班的学霸小红，小强。
那么只需问：

第一名是小强吗？
不是
第一名是小红吗？
是
Game Over

联合熵

直觉理解：
熵的值代表不确定性的大小，如果越大，越不确定。
因此如果在x的基础上加入了一个y，那么联合熵H(x,y) ，一定大于等于H(x)，H(y)，当且仅当加入的是常量的情况下，等号才成立。
简单来说就是，掷硬币，熵是1枚硬币，联合熵是2枚，肯定是联合更不确定了，熵更大。

条件熵

直觉理解：
在某个确定条件下，另一个变量的熵，相当于在之前的基础上增加了信息，确定性会增加，熵会减小，增加了多少信息呢？其实这就是信息增益(互信息)的概念：信息量增加了多少？
信息增益：gain(X) = H(X) - H(x|y)
而且H(x|y) <= H(x)
注意:

H(x|y) 叫做条件熵，但并不是条件概率p(x|y)的熵，因为p(x|y)不是概率分布！！！
以掷硬币为例:

计算一下所有的概率和为2，并不是1，因此条件概率为1的情况是在确定一个值的情况下。