通信原理——绪论

信息量

香农三大定理

• 可变长无失真信源编码定理
• 有噪声信道编码定理
• 保失真度准则下的有失真信源编码定理

信息量

我们使用信息量来衡量信息的多，信息量与描述时间出现的概率有关，一般出现概率越小，信息量越大。这可以通过生活中的例子来解释，比如在正常的教学周我们按时上课，发生的概率几乎是100%，大家都习以为常，不觉得这有什么新奇，但是某一天微博突然爆出赵丽颖结婚，大家都猝不及防，在他们结婚前一天，我们没有想到第二天微博会爆出这样的新闻，也就是概率极小，所以这件事发生的时候给我们带来的感官上“信息量很大”，这就是概率与信息量的负相关关系，那么如何定量的描述二者的关系呢，于是有了下面著名的信源熵公式：
$$I(x_i)=log\frac{1}{P(x_i)}=-logP(x_i)$$
上面是单一的针对一个符号所含的信息量，但大多数情况下，我们要面对的是一大串符号，这时候我们把信息量叠加，就有了总信息量$I$
$$I=-\sum _{i=1}^N{n}_{i}logP(x_i)bit$$
当消息很长的时候，总信息量就不好表述了，我们就用了平均信息量$H(x)$用来表示平均一个符号所含信息量
$$H(x)=-\sum _{i=1}^{N}P(x_i)logP(x_i)bit/sym$$
平均信息量与总信息量的关系是$I=H(x)\cdot n$
在每种符号出现的概率相等的时候，我们有了最大的平均信息量$H(x{)}_{max}=logN$

通信系统的质量指标

模拟通信系统

有效性

指的是给定信道内能传输的信息容量，比如我们认为单边带调制（SSB）由于双边带调制（DSB），因为SSB有效传输带宽占用的频带宽度更窄

可靠性

取决于接收端最终的输出信噪比（SNR），SNR越大，通信质量越高，比如FM的抗干扰性能比AM更高，那么我们认为FM的可靠性更高

有效性与可靠性的矛盾、关联、互换的关系

比如，FM虽然抗干扰性能更高（可靠性更高），但是他的的传输占用带宽更大（降低了有效性），所以可以说这两个指标是难以兼容的，是矛盾的，而我们可以通过一些技术手段牺牲一种性能提高另一种性能，这就是二者之间的互换性。

数字通信系统

有效性

码元速率

码元速率又称为波特率（baud/s），表示一秒钟传输的符号个数

信息速率

信息速率又称比特率（bit/s），表示一秒钟信息量。
我们数字信号都是用二进制传输，我们举一例子来说明码元速率和信息速率的关系：
假如一个通信系统某一秒传输了一串数字序列：01010010
一般来说一开始最难理解的就是什么是符号，什么是比特，那么在这个例子中，我们看到的0，1就是比特，至于符号就要看进制了

• 假如采用二进制，那么$R_b=8bit/s$，每一个比特他也是一个码元，故$R_s=8baud/s$
• 加入采用四进制，比特还是那些比特，所以还是$R_b=8bit/s$，但是这里是四进制，要两个bit才能表示一个符号，比如11表示4，这里的8个bit就只能传送4个符号，故$R_s=4baud/s$
• 假如采用16进制，理由同上，这一秒就只传送了两个符号，$R_b=8bit/s$,$R_s=2baud/s$
  从以上的例子，我们推理，一个二进制码元的信息量为1bit，一个M进制码元的信息量就是$lo{g}_{2}Mbit$
  于是我们得到码元速率和信息速率的关系：
  $$R_b=R_{s}lo{g}_{2}M(bit/s)$$
  $$R_s=\frac{R_b}{lo{g}_{2}M}(baud/s)$$
  我们还可以知道，信息速率一般是大于等于码元速率$(R_b=H\cdot R_s)$，在M=2的时候，二者相等

频带利用率

单位频带码元频带利用率：${\eta }_s=\frac{R_s}{B}(baud/Hz)$
单位频带内信息频带利用率：${\eta }_b=\frac{R_b}{B}(bit/s\cdot Hz)$

可靠性

误比特率

$$P_b=\frac{错误比特数}{传输总比特数}$$

误码率

$$P_s=\frac{错误码元数}{传输总码元数}$$
一般来说，误码率$P_s\ge$误比特率$P_b$，为什么呢，从二进制角度来说，二者是一样的，那么假如是四进制，一串序列00 11 01 10，加入第一个比特错了，这导致8个bit中错了一个，误比特率0.125，但是对于码元来说是4个码元中出现了1个错，意味着误码率有0.25