复试准备—-信息论复习第二章

2.1 信源的描述和分类

可以将信源分为离散信源和连续信源两大类。
离散信源：时间和幅度都离散分布。

连续信源：时间和幅度都是连续分布。

2.2 离散信源熵和互信息

2.2.1 自信息量

概率p越小，则信息量越大。随机事件的不确定度在数量上等于它的自信息量。

2.2.2 离散信源熵

定义信源的平均不确定度H(x)为信源中各个符号不确定度的数学期望

2.2.3 互信息

预知信源X的先验概率为p（x），当信宿收到一个符号消息y后，信宿可以计算信源各消息的条件概率，这种条件概率称为后验概率。

2.2.2 熵的性质

1.非负性

2.对称性

3.确定性

4.香农辅助定理
.
5.最大熵定理
当各个·符号等概时，不确定度最大，信息熵最大

6.条件熵小于无条件熵