信号与编码 预习式复习 第二章（2）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

文章目录

前言

一、信息熵：

1.定义

2.基本性质和定理：

二、条件熵：

1.定义：

2.例题：

三、联合熵：

1.定义：

四、多符号离散平稳信源熵：

1.离散平稳无记忆信源熵：

2.离散平稳有记忆信源熵：

五、例题

总结

---

前言

给出各种熵的图像表达，便于大家理解。该图像也可以带入到自信息量中。 

---

一、信息熵：

1.定义

信源各个离散消息的自信息量的数学期望值就是信源的平均量,一般称为信源的信息熵，又叫信源熵或者香农熵。

即：概率×自信息量之和

①信源熵反映的是输出前平均不确定度的一个大小

②信源熵反应心愿输出后，平均每个离散消息提供的信息量

③反应变量X的随机性

信息熵和平均信息量数值相等，但概念不同。

2.基本性质和定理：

①非负性

②对称性

③最大离散熵定理：信源X中包含n个不同离散消息时，信源熵有：