计算条件熵的小例子

一个二进制源X发出符号集为{-1,1}，经过离散无记忆信道传输，由于信道中噪音的存在，接收端Y收到符号集为{-1,1,0}。已知：
P(x=-1)=1/4，P(x=1)=3/4，P(y=-1|x=-1)=4/5，P(y=0|x=-1)=1/5，P(y=1|x=1)=3/4，P(y=0|x=1)=1/4
求：H(Y|X)。

H(Y|X)=p(x=-1)*H(y|x=-1) + p(x=1)*H(y|x=1)

1变成了{1, 0}的情况：
H(y|x=1)=-P(y=1|x=1)*log[P(y=1|x=1)] - P(y=0|x=1)*log[P(y=0|x=1)]
        = -3/4 * log(3/4) - 1/4 * log(1/4)
        = 0.75*0.125/0.301 + 0.25*0.602/0.301
        = (0.09375‬ + 0.1505‬)/0.301
        = 0.81146

-1变成了{-1, 0}的情况：

H(y|x=-1)=-P(y=-1|x=-1)*log[P(y=1|x=-1)] - P(y=0|x=-1)*log[P(y=0|x=-1)]
         =-4/5 * log(4/5) - 1/5 * log(1/5)
         = -0.8*(-0.097)/0.301 - 0.2 * (-0.70)/0.301
         = (0.0776‬+0.14)/0.301 
         = 0.7229

H(Y|X) = 1/4 * 0.7229 + 3/4 * 0.81146
       = 0.18072 + 0.6086 = 0.7893

注：win10计算器log是以10为底的(由 log(8) / log(2) = 3可知)，转换成以2为底需要除以lg2。lg2 = 0.301。

所以log(2, 0.75) = lg(0.75) / lg2 = -0.125 / 0.301 = -0.415