4.1概述
香农信息论只研究广义信道
信道的作用：
（1）在信息系统中，信道只要用于传输与存储信息
（2）在通信系统中信道主要用于传输信息
研究信道的目的：
（1）可靠性：充分利用信道容量，使传输的信息量尽可能大
（2）可靠性：通过合适的信道编码降低信息传输的误码率
4.2信道与信道传输的信息测度
信道传输信息量的度量
- 理论上：互信息，即一个信道符号平均携带的信息量，bit/符号
- 实际上：信道传输信息的速率表示传输的信息量，bit/s
实际信道传输信息的速率决定于：
（1）信源输出信号的统计特性
（2）信道自身的特性
（3）载荷信息的信号形式
（4）波特率
信道传输信息能力的度量
- 理论上：只考虑信道符号携带的信息量，只与物理信道特性及信源输出信号的统计特性有关，与载荷信息的信号形式无关，bit/符号
- 实际上： 常常结合载荷信息的信号形式，将信息量归一化到单位时间秒上，bit/s
信道传输信息有效性的度量
- 理论上：用信道实际传输速率与信道传输能力之比来度量
- 实际上：信道传输的有效性常常用频谱利用率来衡量
信道传输信息可靠性的度量
- 理论上：用接受误码率来度量
- 实际上：常常用功率利用率来衡量
4.3信道容量
信道的任务：有效可靠的传输信源的信息
离散信道及其信道容量
如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。
输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)
信道的信息传输率：R=I(X;Y)
信道容量C：在信道中最大的信息传输率 bit/（信道码元）符号
信道容量是：
- 完全描述信道特性的参量
- 信道能够传送的最大的信息量
- 信道传输信息的能力的度量
二进制无损信道的信道容量为1bit/符号
准对称的离散无记忆信道
定理：对于准对称的离散无记忆信道，当信道输入为等概分布时达到信道容量
连续信道及其信道容量
连续信道特点
- 时间离散，幅度连续
- 每个时刻是取值连续的单个随机变量
仅研究典型的无记忆加性噪声信道的信道容量
加性信道
信道的转移概率分布函数就是N的分布函数
如果XYN中有两个是高斯分布，另一个也是高斯分布
无记忆加性噪声信道的信道容量费用函数
无记忆加性高斯噪声信道的信道容量费用函数
.>
无记忆加性噪声信道对高斯分布的输入信号的影响
- 高斯分布作为信道输入信号的概率密度分布时，有利于信息传输
- 高斯分布作为加性信道噪声概率密度分布时，不利于信息传输
一般无记忆加性信道的信道容量费用函数
一般无记忆加性噪声信道的信道容量费用函数只能给出上下界
波形信道及其信道容量
波形信道特点：
- 时间连续，幅度连续
- 一族时间样本函数，每个样本函数都是时间，幅度取值连续的
仅研究限频/限时的加性高斯白噪声（AWGN）信道
限时——频谱无限
限频——时间无限
关于香农公式的说明
- 条件是加性高斯白噪声信道下
- 给出的是S（输入）,N（噪声）,W（限频）与信道容量的关系
- 没有给出S,N,W与差错概率的关系，即：并未体现S,N,W与传输可靠性的关系
4.4信道传输有效性
信道冗余度
-
对于无噪，无损信道，若信息传输率= R m a x = l o g r = C R_{max}=logr=C Rmax=logr=C则效率最高
无失真信源编码定律又称为无噪信道编码定理：若信道的信息传输率不大于信道容量，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输信息 -
对于有噪信道，为了提高抗干扰能力，一般要使得 R < C R<C R<C
-
此时信道传输效率
-
-
通过增加冗余度实现传输的可靠性的映射：匹配信道有噪特性：信道编码
-
-
4.5信道传输可靠性
错误概率 与 信道特性和译码规则 有关
在输入和信道特性给定的条件下，差错概率将取决于接受矢量空间按什么样的划分准则进行划分——译码器的姨妈准则
误码率：
P
E
=
P_E=
PE=发出X的概率
∗
{*}
∗译码错误的概率
选择好的译码准则可以降低错误概率
主要的译码准则
- 最小错误概率准则（最大后验概率准则）
- 最大似然译码准则
- 最小距离译码准则
最小错误概率准则（最大后验概率准则）
它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道错误概率就能最小
译码函数
F
(
b
j
)
=
a
∗
F(b_j)=a^*
F(bj)=a∗（
a
∗
∈
A
,
b
j
∈
B
a^*\isin{A},b_j\isin{B}
a∗∈A,bj∈B）,且满足
P
(
a
∗
∣
b
j
)
⩾
P
（
a
i
∣
b
j
)
P(a^*|b_j){\geqslant}P（a_i|b_j)
P(a∗∣bj)⩾P（ai∣bj) (
a
i
∈
A
,
a
i
/
=
a
∗
a_i\isin{A},a_i\mathrlap{\,/}{=}a^*
ai∈A,ai/=a∗)(写法一)
一般信道的传递概率：
P
(
b
j
∣
a
i
)
P(b_j|a_i)
P(bj∣ai)
输入符号的先验概率：
P
(
a
i
)
P(a_i)
P(ai)
P
(
b
j
∣
a
∗
)
P
(
a
∗
)
P
(
b
j
)
⩾
P
(
b
j
∣
a
i
)
P
(
a
i
)
P
(
b
j
)
\frac{P(b_j|a^*)P(a^*)}{P(b_j)}{\geqslant}\frac{P(b_j|a_i)P(a_i)}{P(b_j)}
P(bj)P(bj∣a∗)P(a∗)⩾P(bj)P(bj∣ai)P(ai)
a
i
∈
A
,
a
i
/
=
a
∗
a_i{\isin}A,a_i{\mathrlap{\,/}{=}}a^*
ai∈A,ai/=a∗(写法二)
一般
P
(
b
j
)
/
=
0
,
b
j
∈
B
P(b_j){\mathrlap{\,/}{=}}0,b_j{\isin}B
P(bj)/=0,bj∈B,所以，最大后验概率准则就可以表示为选择译码函数
F
(
b
j
)
=
a
∗
F(b_j)=a^*
F(bj)=a∗ (
a
∗
∈
A
,
b
j
∈
B
a^*\isin{A},b_j\isin{B}
a∗∈A,bj∈B)，满足
P
(
b
j
∣
a
∗
)
P
(
a
∗
)
⩾
P
(
b
j
∣
a
i
)
P
(
a
i
)
P(b_j|a^*)P(a^*){\geqslant}P(b_j|a_i)P(a_i)
P(bj∣a∗)P(a∗)⩾P(bj∣ai)P(ai) (
a
i
∈
A
,
a
i
/
=
a
∗
a_i{\isin}A,a_i{\mathrlap{\,/}{=}}a^*
ai∈A,ai/=a∗) (写法三)
若输入符号的先验概率P(a_i)均相等，则可以写成选择译码函数
F
(
b
j
)
=
a
∗
F(b_j)=a^*
F(bj)=a∗ 并满足
P
(
b
j
∣
a
∗
)
⩾
P
(
b
j
∣
a
i
)
P(b_j|a^*) {\geqslant}P(b_j|a_i)
P(bj∣a∗)⩾P(bj∣ai)(写法四)
最大似然译码准则
最小距离译码准则
三种译码准则的关系
输入等概时：最大后验概率译码准则=最大似然译码准则
在BSC中：最小距离译码准则=最大似然译码准则
无论什么译码规则，对减少误码率的作用有限
误码率受信道特性的影响严重
信道疑义度H(X/Y)给定了译码错误概率的下限
香农认为：选择合适的编码方法，可以即使错误概率降低，又使码率保持较大。适当的编码方式就是适应信道特性的方法，即：信道编码
4.6信道编码定理
信道编码定理的指导意义：
- 通过编码可以实现有噪信道上可靠的信息传输
- 有噪信道可靠传输的信息率的上界时是信道容量C
- 在码长及发送信息速率一定时，可以通过增加信道容量，使错误概率减小
- 在信道容量及信息速率一定时，可以通过增加码长使错误概率下降
4.7信道编码概述
信道编码：从消息到信道波形或矢量的映射，希望通信系统与信道统计特性相匹配的编码
复接，代数编码，调制，成形滤波，扩频，上下变频等都属于广义的信道编码范畴
信道编码的作用：在资源，可靠性和有效性（传信量）之间选择一个好的工作点（有时还要考虑延时）
资源：提供信息传输所付出的代价（频率，时间，空间，功率等，但不包括实现复杂度）
一个好的编码就是要充分利用资源，可靠的传递尽可能多的信息
差错控制代码：提高可靠性的数字信道编码
4.8信道编码方法实例
基础知识
GF(2)基本运算
最小距离与检纠能力
汉明距离
汉明距离：在(n,k)线性码中，两个码字
U
,
V
U,V
U,V之间对应码元位上符号取值不同的个数，称为
U
,
V
U,V
U,V之间的汉明距离
线型分分组码的一个码字对应于n维线性空间中的一点，码字间的距离即为空间中两对应点的距离
最小距离
一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检，纠错能力越强
检错能力
如果一个线性码能检查出长度 ⩽ e \leqslant{e} ⩽e个码元的人格错误图样，称码的检错能力为 e e e
纠错能力
如果线性码能纠正长度 ⩽ t \leqslant{t} ⩽t个码元的任意错误图样，称码的纠错能力为 t t t
分组码
编码就是给已知信息码组按预定规则添加校验码元，以构成码字
通常，在k个信息码元之后附加r（r=n-k）个校验码，使每个校验元是其中某些信息元的模2和
一致校验方程
一致校验矩阵
生成矩阵
分组码1——汉明码
线性分组码的一个重要子类
第一个具有系统的编译码方法的纠错编码
是纠一个错误的完备码
分组码2——循环码
线性分组码的一个重要子类
具有优良的代数结构，可用简单的反馈移位寄存器实现编码和伴随式计算，并可使用多种简单而有效的译码方法
是研究最深入，理论最成熟，应用最广泛的一类线性分组码
目前被广泛应用于众多通信系统的CRC（循环冗余度校验）码就是一个循环码
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
