信息论复习二：离散信道及其容量

在这节里面，我们复习离散信道及其容量！！！

首先了解信道的分类和信道的转移概率矩阵，主要是研究无记忆信道。

紧接着复习两个典型信道BSC和二元删除信道。

接下来就是重要概念：信息熵速率即信源熵乘以单位时间发送的符号数；

接收熵速率即平均互信息乘以信道单位时间内传输的符号数；

信息传输率为平均互信息；

信道容量为最大的信息传输率，但信道容量不和信源分布有关，只和信道本身有关，也就是说，信道一旦固定，信道容量就固定了，只是可以调节信源的分布使得平均互信息最大，这个最大值和信道容量的值相等。

接下来就是信道容量的另外一个形式，单位时间的信道容量。

还有就是三个特殊信道的概念和计算。

无损无遭信道：输入输出一一对应，所以没有噪声熵和损失熵，即信道容量为H(X)或者H(Y)的最大值；

有噪无损信道：一个输入对应一个或多个输出，损失熵为0，即信道容量为H(X)的最大值；

无噪有损信道：一个输出对应一个或多个输入，噪声熵为0，即信道容量为H(Y)的最大值。

 接下来就是对称信道，复习对称信道的判断和计算，对称信道的容量等于输出符号熵减去信道转移概率矩阵第一行的熵。

 最后就是一般的信道容量计算以及多符号离散信道容量。

对于离散无记忆信道的N次扩展信道容量等于N*单信道容量

独立并联信道容量等于N个信道容量的加和。