2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

目录

1.非负性 

2.确定性

3.对称性 

4.香农辅助定理

5.最大熵定理（极值性）

6.条件熵小于无条件熵                       

7.拓展性

8.可加性

9.递增性

---

1.非负性 

  当且仅当pi=1时，H(x)=0

离散信源的熵具有非负性，连续信源的熵则不具有此特性

2.确定性

在概率空间中，如果有一个事件概率为1为必然事件，则其余的事件为不可能事件，因此整个空间唯一确定，不存在不肯定性，熵必然为0

3.对称性 

熵函数所有的变元可以互换而不影响函数值

该性质说明：熵只与随机变量(信源)的总体统计特性有关。如果某些信源的统计特性相同，也就是含有的符号数和概率分布相同，那么这些信源的熵就相同。

4.香农辅助定理

证明香农辅助定理相当于证明相对熵的非负性，因此借鉴刘仲文等同学的证明

5.最大熵定理（极值性）

离散无记忆信源输出M个不同信息符号，当且仅当各个符号出现概率相等时熵最大。

 

因为当出现各个符号的可能性相同时，不确定性最大。

6.条件熵小于无条件熵                       

   

当且仅当x和y相互独立时等号成立

并且可推广，两个条件下的条件熵小于一个条件下的条件熵。

7.拓展性

若集合X有n个事件，集合X’有n+1个事件，如果相差的事件的概率为任意小正数，则

从总体考虑，当一个事件的概率极小时，它在熵的计算中占比很小，对整体的熵的贡献值可以忽略不计，这也是熵的总体平均性的体现。

8.可加性

9.递增性

若原信源X中有一元素划分成m个元素（符号），而这m个元素的概率之和等于原元素的概率，且新的信源的熵会增加。

熵增加了的一项是由于划分而产生的不确定性。

总结：

1. 我们小组同学通过CSDN平台，接触这个平台并学会了如何去寻找其他人所发布的消息与信息，通过此次大作业的学习，掌握了如何在CSDN平台上与其他人一起交流想法思路，对我们自己的学习成长有着很大的帮助。
2. 通过此次对离散信源的熵的性质的简要介绍和证明，我们对离散信源的熵的性质更加熟悉，知其然也知其所以然，对我们以后的学习有了更好的帮助。
3. 此次大作业是我们小组成员共同完成，经过讨论与准备将材料完善，锻炼了我们的团队合作能力与沟通，对我们以后的人际交流也会有极大的帮助与提升。