1. 信道模型
- 转移概率矩阵
2. 信息熵
- 信源
- 自信息
- 表示
出现的不确定性。
- 表示
- 信息熵
- 自信息的数学期望,即
出现的平均不确定性,又叫先验熵。
:对某个
有
(
),信源只发出符号
,不存在不确定性(令
)
- 自信息的数学期望,即
相互接近,
越大,反之则越小。
3. 信息增益
- 后验熵
信宿收到后,信源发送
的概率
这时信源发送的不确定性为:
后验熵为:
表示在收到时,信源发出的各种信号的平均不确定性。
- 条件熵
表示在收到的条件下,信源发出的信号集的平均不确定性,又称信道疑义度。
若对每一个
,可以确定输入端的一个符号
,即
,这时对其他任一个
有
,则
,此时,不确定性完全消除。
- 信息增益
表示在收到
后,关于
的信息量的增加了、减少了的不确定性。
4. 总结
- 自信息
- 互信息
- 先验熵(平均自信息)
- 后验熵(平均互信息)
- 信息增益