信息论初级——离散信道及信道容量——2020.11.12

信息论初级——离散信道及信道容量——2020.11.12

目录：
一、信道的分类以及数学模型
二、平均互信息
三、平均互信息的特性
四、信道容量以及其一般计算方法
五、离散无记忆拓展信道，独立并联信道，串联信道
六、信源与信道的匹配

一、信道的分类以及数学模型
1.分类：a.根据输入和输出特点：离散信道；连续信道；半离散半连续信道（一个取离散值，一个取连续值）。
b.根据信道输入输出随机变量个数的多少：单符号信道（输入输出均用一个随机变量表示）；多符号信道。
c.根据输入输出的个数：单用户信道；多用户信道。
d.根据输入端和输出端的关联：无反馈信道；有反馈信道。
e.根据信道有无干扰：有干扰信道；无干扰信道。
f.根据信道有无记忆性：有记忆信道；无记忆信道。

2.数学模型：
2.1单符号离散信道：输入符号X，输出符号Y，转移概率（传递概率）P（Y/X）可用来描述信道干扰的大小。


2.2无损信道（无干扰和噪声的信道；信息无损的传输）

二、平均互信息
1.互信息I（a；b）收到消息b后获得的关于a的信息量

2.平均互信息：
特殊性质：

三、平均互信息的特性
1.非负性
2.极值性：I(X;Y)<=H(X)
3.交互性（对称性）：I(X,Y)=I(Y;X)
4.凸状性（对于前向概率呈U型；对于先验概率呈反U型；对于后验概率呈U型）

四、信道容量以及其一般计算方法
1.信道容量相关概念：
a.信息传输率R：R=I(X;Y)=H(X) - H(X|Y) （bit/符号）
b.信息传输速率Rt：Rt=R/t（bit/秒）
c.信道容量C：最大的信息传输率
d.信道容量Ct：信道在单位时间内平均传输的最大信息量Ct=C/t （bit/秒）

2.信道矩阵无重合离散信道一般计算方法：(r代表行数；s代表列数）
2.1离散无噪信道的信道容量：C=logr=logs
2.2离散有噪无损信道的信道容量：C=logr != logs
2.3离散有损无噪信道的信道容量：C=logs != logr

一句话总结：C=log(min{r,s})

3.对称离散信道的信道容量：
a.强对称信道（均匀信道）（每行每列的概率和为1，且行数=列数，且组成行与列的概率集合相同）

b.一般对称信道

信道容量C=列数的对数减去行概率集合的信息熵。

4.准对称离散信道的信道容量：


5.一般离散信道的信道容量：


五、离散无记忆拓展信道，独立并联信道，串联信道
1.离散无记忆拓展信道：其实质和离散平稳无记忆信源的N次拓展信源一样。就是把本来具有n个符号的集合An拓展成了n的N次方个符号的新集合，但是可以把这个新集合看成是N个符号为一体的任然只有n个符号的集合。

例如：{a1,a2,a3,a4,a5}为某一信道的信道输入，那么该信道的二次拓展信道其输入变成了{a1a2,a2a1,a3a4,a4a2,a5a3}，三次拓展变成了{a1a1a1,a2a1a2,a3a1a2,a4a4a3,a5a3a4}以此类推。


六、信源与信道的匹配