1.设X是一个随机变量,取值范围是一个包含M个字母的符号集。证明0<=H(X)<=log2M。
证: 由题得:
X={m1,m2,...,mn} (包含M个字母)
1) 当M=1时,H(X)最小
即 H(x)=-ΣP(xi=ai)*logP(xi=ai) = 1*log(1) = 0
从而 H(x)min=0
2) 当M≠0时, H(x)=-ΣP(xi=ai) logP(xi=ai) = -M*1/M*log2M = log2M
即 H(x)max=log2M
综上可知,0≤H(x)≤log2M 。
2.证明如果观察到一个序列的元素为iid分布,则该序列的熵等于一阶熵。
证明:
因为:H(X)=limn→∞1/n*Gn
Gn=-∑i1∑i2.....∑inP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in) i1,i2....in=1...m
如果序列为iid序列分布,则
Gn=-n∑i1P(X1=i1)*logP(X1=i1),i1=1...m
则
H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。
3、给定符号集A={a1,a2,a3,a4},求一下条件下的一阶熵:
(a)P(a1)=P(a2)=P(a3)=P(a4)=1/4
(b)P(a1)=1/2 , P(a2)=1/4 , P(a3)=P(a4)=1/8
(c)P(a1)=0.505 , P(a2)=1/4 , P(a3)=1/8 , P(a4)=0.12
H=-ЕP(ai)logP(Ai)
=-( P(a1)log2P(a1)+P(a2)log2P(a2)+P(a3)log2P(a3)+P(a4)log2P(a4) )
= -1/4log2 (1/4)-1/4log2 (1/4)-1/4log2 (1/4)-1/4log2 (1/4)
= 2 (bits)
H=-ЕP(ai)logP(Ai)
= -( P(a1)log2P(a1)+P(a2)log2P(a2)+P(a3)log2P(a3)+P(a4)log2P(a4) )
= -1/2log2(1/2)-1/4log2(1/4)-1/8log2(1/8)-1/8log2(1/8)
= 1/2+1/2+3/8+3/8
= 7/4
=1.75(bits)
H=-ЕP(ai)logP(Ai)
= -( P(a1)log2P(a1)+P(a2)log2P(a2)+P(a3)log2P(a3)+P(a4)log2P(a4) )
= -0.505log20.505-1/4log2(1/4)-1/8log2(1/8)-0.12log20.12
= -0.505log20.505+1/2+3/8-0.12log20.12
=1.74(bits)