信息论与编码_信息与编码系列（五）不可靠信道——决策法则、Hamming距离与信息论基本定理...

目录

• 序
• 决策法则（decision rules）
• Hamming距离
• 信息论基本定理——Shannon 定理
• Shannon定理的逆命题

---

序

这个算是正本书中关于信息论的最后内容了，后面就是关于编码理论的内容。

这篇文章主要目的还是想引出信息论基本定理的。像决策法则，其实就是某一个信道的逆过程。Hamming距离给出了传输前后在数值意义上的度量。

鉴于Shannon定理——信息论基本定理过于冗长，我单独列了个文章写进去了。详情可以点进去参考

陆艺：信息与编码系列（Appendix1） 信息论基本定理的证明（by Shannon）​zhuanlan.zhihu.com

---

决策法则（decision rules）

看似是个新的概念，但是联系之前所讲到的信道（information channel）的含义，从映射的角度来说，它就是信道的逆。

给出信道

，输入源和输出源

和

。接收方是只能得到

。若想通过某一种算法，推算出接受的字符是由

发出的哪个字符，即推算

，有

。我们把这个过程叫做

决策法则，记为函数

这里说一点，其实这个函数并不一定是正确的，它表示的是这类函数的一个特例。这个过程叫做对输出的解码（decoding the output）。

对于这样的函数，一共有多少种呢，考虑对于特定的

，可知，一共有

个结果，那么对

遍历，则要进行

次乘积，于是就有

种映射。

依旧是考虑BSC，如果是接收方信赖发送方，那么就有决策法则

我们假定，知

推到

的概率为

就是

前馈概率。

那么对于输入源的推测准确率呢，就是加权求和一下，我们记作

即某些联合概率的和。

然后错误率呢，就是按

取反呗，我们记

于是我们希找一个正确率高，相应地失误率低的决策法则，这样的法则就被称为理想观测法则（ideal observer rule）。

根据前面的推导，我们要想找到正确率高的，也就是要找联合分布概率最高的，让最高的

中的

变成

。根据概率论中的公式，可以有如下关系

其中

为信道矩阵。

考虑BSC

然后有决策法则

就是取每列最大的一项。

我们到这里可以总结出一点，就是

除了映射方面的意义，另一方面，相当于给出接收方的序号

，返回一个

，对应的是发送方相应的信号。

如果，碰到了接收方对发送方不是那么的了解，那么对发送方的预测就依赖于信道的特性。假设输入方的每个信号概率都是相等的，只考虑信道矩阵，即只需考虑

使得

，直接从信道矩阵中找出每列最大的项。这个过程叫做

最大似然法则（maximum likelihood rule）。

该法则对于特定的输入源所得到的正确率可能不是那么高，但是，他是对于下面这个积分满足最大值

其中

。其实证明上也好说明，因为

于是原积分为

对于每一个

，积分值都是在单纯形边界测度，所以当