猜1到100中的某个数字,可采用每次是否大于平均数的方法,因此每次最多log(2,100)次即可猜中。在游戏之前,有6.64 bits of uncertainty,因为这是为了得知这个数字所需得到的平均信息量。
- monty hall 问题
换门后得奖概率是2/3,不换门得奖概率是1/3,现在想要知道Monty打开一扇门这一信息是我们判断哪扇门后有奖所需信息的百分比。
一开始有三扇门时:
X:P(1/3, 1/3, 1/3)
H(x)= 1/3*log(2, 3)+1/3*log(2, 3)+1/3*log(2, 3)=log(2, 3)= 1.585bits
Monty打开一扇门,即告诉我们一个信息时:
Y:P(1/3, 2/3)
H(x|y)= 1/3*log(2, 3)+2/3*log(2, 3/2)= 0.9186 bits
根据mutual information的公式 H(x)-H(x|y)= I(x;y)= 1.585-0.9186= 0.667 bits
0.667/1.585= 0.421
即,Monty打开门这一信息是我们判断所需信息的42%。
- 硬币问题
有两枚硬币,一枚正常,一枚弯曲,正常的硬币掷一次正面和反面朝上的概率均为0.5,弯曲的硬币掷一次正面和反面朝上的概率分别为0.4和0.6。一开始使用正常或弯曲硬币的概率均为0.5,现在想要根据一次投掷的结果判定使用的硬币是正常的还是弯曲的,以及这一次判定的precentage of reduction in uncertainty。
假设A=硬币正面朝上,NA=硬币背面朝上,B=正常硬币,NB=弯曲硬币。
根据贝叶斯理论:P(A|B)*P(B)/P(A)=P(B|A)以及P(A)= P(A|B)*P(B)+P(A|NB)*P(NB)
P(B|A)= 0.556 P(NB|A)=0.444
因此硬币的分布从(0.5, 0.5)变为(0.556, 0.444)。
计算对于使用哪枚硬币我们知道多少:
H(0.5, 0.5)-H(0.556, 0.444)= 1-0.9909= 0.0091 bits
即基于一次投掷,对于明确知道使用的是哪枚硬币,现在reduction in uncertainty有0.91%。