信息论——信道与信道容量

目录

一、信道

信道

信道分类

单符号离散信道及其容量

单符号离散无记忆信道

条件转移矩阵

前向概率

后向概率

信道的信息传输率R(平均每个符号传送的信息量)

信道容量C

对称离散通道

输入对称离散信道

输入对称离散信道计算容量

输出对称离散信道

准对称信道和对称信道

对称离散信道计算容量


一、信道

就是信息传输的通道,是通信系统的重要组成部分,是传输信息的载体,其主要任务是传输或者存储信息

信道是信息论的主要研究对象之一,其主要研究内容是在理论上能够传输或者存储的最大信息量,即信道容量。

信道分类

根据统计特性

恒参信道:信道的统计特性不随时间而变化。如卫星信道一般视为恒参信道

随参信道:信道的统计特性随时间而变化。大多数的信道都是随参信道,统计特性随着环境、温度、湿度等参数而变化。如短波信道、微波信道等

根据用户量:

单用户信道:也称两端信道,该信道只有一个输入端和一个输出端,而且只能进行单方向的通信

多用户信道:也称多端信道,输入端或者输出端至少有一端具有两个或者两个以上用户,并且可以实现双向通信

根据输入、输出的取值特性:

离散信道:也称为数字信道,该类信道中输入空间、输出空间均为离散事件集合,集合中事件数量是有限的,或者有限可数的,随机变量取值都是离散的

连续信道:也称为模拟信道,输入空间、输出空间均为连续事件集合,集合中事件的数量是无限的、不可数的

半离散半连续信道:输入空间、输出空间一个为离散事件集合,而另一个则为连续事件集合,即输入、输出随机变量一个是离散的,另一个是连续的

波形信道:也称为时间连续信道,信道输入、输出都是时间的函数,而且随机变量的取值都取自连续集合,且在时间(或者空间)上的取值是连续的

根据噪声的统计特性:

随机差错信道:信道中传输码元所遭受的噪声是随机的、独立的,这种噪声相互之间不关联,码元错误不会成串出现。最具有代表性的是高斯白噪声信道

突发差错信道:信道中噪声或者干扰对传输码元的影响具有关联性,相互之间不独立,从而使得码元错误往往成串出现。常有的如衰落信道、码间干扰信道。在实际中这种信道经常出现,如移动通信的信道、光盘存储器等

单符号离散信道及其容量

信道的输入符号之间、输出符号之间都不存在关联性,即无记忆的,信道的分析可以简化为对单个符号的信道分析。

如果信道的输入、输出随机变量都是离散的,则该信道为单符号离散无记忆信道。

单符号离散无记忆信道

特性可以使用条件转移概率进行描述

条件转移矩阵

无噪(确定输入能确定输出):PY|X每行元素中只有一个1,其余值都为0        H(Y|X)=0  如:  

有噪:至少一行有两个或者以上非0元素                 H(Y|X)!=0

 

无损(确定输出能确定输入):PY|X每列元素中只有一为非0      ==>

否则就是有损

 

前向概率

后向概率

信道的信息传输率R(平均每个符号传送的信息量)

信道容量C

     

使得I(X;Y)最大,这种先验分布概率称为最佳分布

信息量R必须小于信道容量C,否则传输过程中会造成信息损失,出现错误

如果R<C成立,可以通过信道编码方法保证信息能够几乎无失真地传送到接收端;反之,信息出现差错概率不可能任意小,即不能实现几乎无失真编码

对称离散通道

输入对称离散信道:信道转移概率矩阵中所有行矢量都是第一行的某种置换,则称信道关于输入是对称的

信道转移概率矩阵中每行矢量具有相同数量的相同的元素(即条件熵H(Y|X)与信道输入符号的分布无关。 )

                                                 

输入对称离散信道计算容量

输出对称离散信道

如果信道转移概率矩阵中所有列矢量都是第一列的某种置换,则称信道关于输出是对称的,这种信道称为输出对称离散信道

  

准对称信道和对称信道

准对称信道:

信道转移矩阵按列可以划分为几个互不相交的子集,每个子矩阵满足下列性质:
(1) 每行都是第一行的某种置换;
(2) 每列都是第一列的某种置换;

 

特别地,当这种划分只有一个,该信道称为对称信道,此时信道既是输入对称的,也是输出对称的

                

对称信道的信道容量

对称信道的信道容量只与信道的转移矩阵中的行矢量和输出符号集合的数量有关。如果希望信息传输率达到信道容量,信道输入应当满足等概率分布。

 

对称离散信道计算容量

--------------------------------------------------------------------------

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 11
    点赞
  • 63
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值