有噪信道编码详解（前篇）

引言

信道编码定理（香农第二定理）[解决的是可达性的问题]

对信源进行编码,再采用具有统计特性的信道进行传输,信道有噪声,但通过最优化输入信号的分布,可采取某种编码方式,达到信道容量。

信道编码：用于提高信息传输的可靠性

编码信道：信道输入端输出端连接着信道编码器和译码器的信道

信道译码：根据编码规则的相关性来译码

错误概率（）：信源发出的消息和到达信宿后发生的错误的概率

错误概率与以下因素有关：信道统计特性（信道传递概率矩阵）、编码方法、译码规则

译码规则

对于没有一个输出符号yj都有一个确定的函数F(yj)，使yj对应于唯一一个输入符号xi，则称这样的函数为译码规则

F(yj)=xi；i=1，2，3...r；j=1，2，...s

（输入r个，输出s个的信道，译码规则共有种）

正确概率（）：收到正确的译码，

错误概率（）：上述条件下收到错误的概率，

选择译码规则

要使 最小

1.最大后验概率译码规则

选择译码函数,使其满足

2.极大似然译码规则

选择译码函数，使其满足

当输入符号等概分布时，

若输入为等概分布

 3.费诺不等式（Fano不等式）

表明错误概率与信道疑义度H(X|Y)之间的关系

选择最佳译码规则只能使错误概率Pe有限的减小，无法使Pe任意小

由此引出信道编码方法

1.简单重复编码

重复发送某一码字，确保正确接收。将一码字多次扩展发送，“择多译码”。

随着重复次数n的增大，将会降低平均错误概率Pe

但是随着n的增大，信息传输率R要减少

M:表示简单重复编码后的新信源符号个数。n：表示码长（即重复次数）。

R:表示M个信源符号（简单重复编码后的新信源符号），每个符号所携带的最大信息量为logM,现用n个码符号来传输，平均每个码符号所携带的信息量为R。

由此进一步引出香农第二定理，找到一种编码使错误概率充分小，且信息传输率R保持在一定的水平上。

2.线性码

适当增大M和n，可以得到较低的平均错误概率Pe和较好的信息传输速率R

线性码中的冗余位，具有检错和纠正错误的功能（部分）

汉明距离

模二和，表示两个码字之间在相同位上不同码符号的数目的总和

极大似然译码规则可用汉明距离表示为：

选择译码函数：

使其满足： 

即满足：

该准则称为最小距离译码准则

二元对称信道的编码原则

有噪信道编码定理（香农第二定理）

设有一离散无记忆平稳信道，其信道容量为C，只要保持传送的信息传输率R<C,则存在一种编码，当输入序列长度n足够大，可使译码错误概率Pe任意小。

错误概率的上界

对于离散无记忆信道（DMC），平均错误概率Pe为：

其中Er（R）为随机编码指数，又称为可靠性函数，与输入概率分布有关