信息论与编码（姜丹版）第七章简答题笔记

该文基于自身情况，按照教学要求整理的，并不完全，忘海涵

通信的有效性问题：即如何通过对信源进行编码，压缩信源的多余度，提高传输的效率。

通信的可靠性问题：即消息通过信道传输时如何选择编码方案以减少差错。

通信的可靠性显然与信道的统计特性有关，因为杂噪干扰是造成错误的主要因素。其次，编码方法和译码方法也将影响信息传输的可靠性。

信道编码

目的：提高抗干扰能力，使差错率最小。

实质：增加冗余度，扩大信号空间，增大信

        号间距离。

重要意义：通过信道编码的方法，可以用不

            可靠的信道实现可靠的传输。

对于有r个输入、s个输出的信道而言，按上述定义得到的译码规则共有rs 种。

当信道输入符号为等概分布时，应用极大似然译码规则是最方便的。所用的条件概率为信道矩阵中的元素。

最大后验概率译码规则和极大似然译码规则是等价的

两个码字之间的汉明距离是它们在相同位上不同码符号的数目的总和

最小码间距离Dmin越大，则平均错误概率pE越小。在输入消息符号个数M相同的情况下，同样地Dmin越大， pE越小。

码组中最小距离越大，受干扰后，越不容易把一个码字错译成另一个码字，因而平均错误概率pE小。如果最小码间距离Dmin小，受干扰后很容易把一个码字译成另一个码，因而平均错误概率大。这意味着，在选择编码规则时，应使码字之间的距离越大越好。

香农第二定理及其逆定理表明：

耍想使信息传输率R大于信道容量C而又无错误的传输消息是不可能的。

在任何信道中，信道容量是进行可靠传输的最大信息传输率。

(3,1)分组码(N=3次重复码)可纠正一位错，发现两位错