函数的熵
题目来源:《信息论基础-[美] Thomas M. Cove》的课后习题
设X是取有限个值的随机变量。如果
(1)
(2)
H(X)和H(Y)的不等关系(或一般关系)是什么?
解:令
∵是
的确定函数
∴在给定的情况下,
的取值是确定的
∴
而
∵(当
是一对一映射时取等)
∴
∴
即,当
是一对一映射时取等
(1)是一对一映射,所有
(2)不一定是一对一映射,所以
。当且仅当cos在X的范围上是一对一映射时等号成立
一些解释
(1)
是表示X到Y的映射。
构成映射的条件是一个X必须是与一个Y对应的,而不是一个X可以对应多个Y。但是一个Y可以对应多个X。
(2)在给定的情况下,
的取值是确定的,即
X到Y是一个通过的映射。
如图,当X是确定的,由于是映射,那么Y的值肯定是确定的,即。
(3)
由熵的非负性可知。
当是一对一映射,如图,即一个Y对应一个X,即在给定
的情况下,
的取值是确定的,即
,所以
。
(4)
在一个周期内的取值是一对一的映射。