信息论测试题讲解

损失熵

信道疑义度(channel equivocation)也称为损失熵，是信息传输理论的基本概念之一，表示当信道输出端Y接收到全部的输出符号后，对输入端X尚存的平均不确定性。这个对X尚存的不确定性是由于传达过程中信道的干扰机制造成的。

剩余度

相对熵=H(x)/Hmax(x)

1与相对熵之差定义为剩余度，用E表示

E=剩余度=1-[H(x)/Hmax(x)]

公式简化算法

如：

I(X;Y|Z)=H(X|Z)+H(Y|Z)-H(XY|Z)

可以看作 I(X;Y)=H(X)+H(Y)-H(XY)

等书写完成后再将条件Z补上

I(X;Y|Z)=H(X|Z)+H(Y|Z)-H(XY|Z)

哈夫曼编码

q=（r-1）*θ+r

编码效率 

η=（H(s)/log（r））/L

craft不等式

知识点

一般情况下，哈夫曼编码的效率大于香农编码和费诺编码

在编m（m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短

对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码

连续信源的相对熵不一定具有非负性

连续信源和离散信源的熵都具有可加性

连续信源和离散信源的平均互信息都具有非负性

当信源固定时，平均互信息量是信道传递概率的下凸函数

平均互信息量不可能为负值

多看维拉图的形式