Entropy

a measure of the uncertainty of the whole probability distribution, measured in bits of information, one bit of information is the information needed to communicate a single binary choice

∑p(xi)log(2, 1/p(xi))

the entropy H(x) of an uniform distribution of n outcomes is logn   H(x)<=logn

不确定性越大，熵越大，越有序越小。

猜1到100中的某个数字，可采用每次是否大于平均数的方法，因此每次最多log(2,100)次即可猜中。在游戏之前，有6.64 bits of uncertainty，因为这是为了得知这个数字所需得到的平均信息量。

• monty hall 问题

换门后得奖概率是2/3，不换门得奖概率是1/3，现在想要知道Monty打开一扇门这一信息是我们判断哪扇门后有奖所需信息的百分比。

一开始有三扇门时：

X：P(1/3, 1/3, 1/3)  

H(x)= 1/3*log(2, 3)+1/3*log(2, 3)+1/3*log(2, 3)=log(2, 3)= 1.585bits

Monty打开一扇门，即告诉我们一个信息时：

Y：P(1/3, 2/3)  

H(x|y)= 1/3*log(2, 3)+2/3*log(2, 3/2)= 0.9186 bits

根据mutual information的公式 H(x)-H(x|y)= I(x;y)= 1.585-0.9186= 0.667 bits

0.667/1.585= 0.421

即，Monty打开门这一信息是我们判断所需信息的42%。

• 硬币问题

有两枚硬币，一枚正常，一枚弯曲，正常的硬币掷一次正面和反面朝上的概率均为0.5，弯曲的硬币掷一次正面和反面朝上的概率分别为0.4和0.6。一开始使用正常或弯曲硬币的概率均为0.5，现在想要根据一次投掷的结果判定使用的硬币是正常的还是弯曲的，以及这一次判定的precentage of reduction in uncertainty。

假设A=硬币正面朝上，NA=硬币背面朝上，B=正常硬币，NB=弯曲硬币。

根据贝叶斯理论：P(A|B)*P(B)/P(A)=P(B|A)以及P(A)= P(A|B)*P(B)+P(A|NB)*P(NB)

P(B|A)= 0.556  P(NB|A)=0.444

因此硬币的分布从(0.5, 0.5)变为(0.556, 0.444)。

计算对于使用哪枚硬币我们知道多少：

H(0.5, 0.5)-H(0.556, 0.444)= 1-0.9909= 0.0091 bits

即基于一次投掷，对于明确知道使用的是哪枚硬币，现在reduction in uncertainty有0.91%。