[信息论与编码] 04. 熵的基本性质

熵的基本性质

1. 非负性：H(X) ≥ 0

熵描述的是某个集合统计意义上的不确定性，是自信息的加权平均。
而我们在一开始寻找描述不确定性的函数，引出自信息量概念的时候，便要求自信息的取值应在[0，+∞]。
故，熵作为自信息的加权平均，自然也是非负的。

2. 确定性：H(1,0)=H(1,0,0)=……=H(1,0,0,…,0)=0

①根据熵的定义式，可知H(1,0)=1*log1=0
②根据熵的意义，当信源发出某个符号的概率为1，则该信源为确知信源，其不存在不确定性，
即确知信源的熵等于0。

3. 对称性：熵只与随机变量的总体结构有关。

4. 扩展性：极小概率事件对熵几乎没有影响

5. 熵的链式法则

该式称为熵的强可加性。

若X,Y统计独立，则

该式称为熵的可加性。
进一步推广，可得
N维联合信源熵的链式法则为：

6. 极值性：输入等概时，熵最大。

上式又称为最大离散熵定理。

7. 熵的独立界：条件熵小于等于无条件熵。

如果统计相关的变量已知，则统计意义上不确定性减少。
即，条件作用使熵减小。
熵的独立界是统计意义上的，对于Y具体取某个值的情况不一定成立。

该定理称为熵的独立界。