[信息论与编码理论专题-4]：信道、信道模型与信道容量

作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/118559972

---

目录

第1部分 信道的数学模型与分类

第2部分 信道与信道容量

第3部分 离散无记忆信道的信道容量

第4部分 组合信道的信道容量

第5部分 时间离散的连续信道的信道容量

第6部分 波形信道的信道容量

附录：

---

第1部分 信道的数学模型与分类

 备注：

信息论的传输规律是指：

（1）关系1：输出与输入的数值的对应关系（转换特性）

（2）关系2：输出与输入的数字对应关系的概率（统计特性）

• 如果输出与输入的关系是完全确定的，那这种信道就是无损信道，是无干扰信道，是确定性信道，信道本身是无信息量的。
• 如果输出与输入的关系不是完全确定的，那这种信道就是有损信道，是有干扰信道，是不确定性信道，信道就存在一定的误码率，信道本身是包含了一定的信息量。这是信息研究的重点，
• 对于二进制数字信道而言，输出和输入都是0或1。输出与输入的关系是1-》1，概率为大概率；1-》0，概率为小概率； 0-》0，大概率；0-》1小概率。而小概率事件，实际上就是误码率。

备注：

• 在上图中，输出与输入，不 仅仅是0和1，而是X1, X2.......Xn中，n钟输入与输出
• 在上图中，当Xi的值都是0和1时，Yi的值都是0和1时，这样的信道就是二进制数字信道。
• 这里的概率称为转移概率。 
• 所有的输出与输入的概率关系，构成了一个概率矩阵。又称为概率转移矩阵。

 备注：信道的分离是根据信道的模型来进行分类的。

 

备注：

这里的参数关系，并不是输出与输人数值的函数关系，而是只数值的概率关系，或称为统计关系。

因此，信息论关注的是概率关系！！！而不是输出与输人数值转换的函数关系。这需要引起注意。

恒参信道：意味着信道的转移概率不随着时间的变化而变化 。

 

备注：

• 行数：输入序列中符号的种类，第一行表示输入是Ai时，输出为b1，b2......bn的概率。
• 列数：输出序列中符号的种类

 

备注：

• 二元对称信道，就是我们常说的二进制数据传输信道
• p就是误码率
• 1-》0和0-》1这两种情况的出错的概率是等同的。

 

备注：

• 二元删除信道中的数字2，相当于数字通信中的无效数据，相同于二进制数据中数据丢失的情形，而不是出错的情形。 
• 上图中的p不是出错率，而是丢失率。所谓称为"删除”

第2部分 信道与信道容量

 

 

 

 

 

 

 

 

备注：

• 以输出的维度为基准

 

 备注：

• 以输入的维度为基准

第3部分 离散无记忆信道的信道容量

 

 

第4部分 组合信道的信道容量

第5部分 时间离散的连续信道的信道容量

第6部分 波形信道的信道容量

---

附录：

作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/118559972