信息量
香农三大定理
- 可变长无失真信源编码定理
- 有噪声信道编码定理
- 保失真度准则下的有失真信源编码定理
信息量
我们使用信息量来衡量信息的多,信息量与描述时间出现的概率有关,一般出现概率越小,信息量越大。这可以通过生活中的例子来解释,比如在正常的教学周我们按时上课,发生的概率几乎是100%,大家都习以为常,不觉得这有什么新奇,但是某一天微博突然爆出赵丽颖结婚,大家都猝不及防,在他们结婚前一天,我们没有想到第二天微博会爆出这样的新闻,也就是概率极小,所以这件事发生的时候给我们带来的感官上“信息量很大”,这就是概率与信息量的负相关关系,那么如何定量的描述二者的关系呢,于是有了下面著名的信源熵公式:
I
(
x
i
)
=
l
o
g
1
P
(
x
i
)
=
−
l
o
g
P
(
x
i
)
I(x_i)=log\frac{1}{P(x_i)}=-logP(x_i)
I(xi)=logP(xi)1=−logP(xi)
上面是单一的针对一个符号所含的信息量,但大多数情况下,我们要面对的是一大串符号,这时候我们把信息量叠加,就有了总信息量
I
I
I
I
=
−
∑
i
=
1
N
n
i
l
o
g
P
(
x
i
)
b
i
t
I=-\sum^N_{i=1}n_ilogP(x_i) \space bit
I=−i=1∑NnilogP(xi) bit
当消息很长的时候,总信息量就不好表述了,我们就用了平均信息量
H
(
x
)
H(x)
H(x)用来表示平均一个符号所含信息量
H
(
x
)
=
−
∑
i
=
1
N
P
(
x
i
)
l
o
g
P
(
x
i
)
b
i
t
/
s
y
m
H(x)=-\sum^N_{i=1}P(x_i)logP(x_i) \space bit/sym
H(x)=−i=1∑NP(xi)logP(xi) bit/sym
平均信息量与总信息量的关系是
I
=
H
(
x
)
⋅
n
I=H(x)·n
I=H(x)⋅n
在每种符号出现的概率相等的时候,我们有了最大的平均信息量
H
(
x
)
m
a
x
=
l
o
g
N
H(x)_{max}=logN
H(x)max=logN
通信系统的质量指标
模拟通信系统
有效性
指的是给定信道内能传输的信息容量,比如我们认为单边带调制(SSB)由于双边带调制(DSB),因为SSB有效传输带宽占用的频带宽度更窄
可靠性
取决于接收端最终的输出信噪比(SNR),SNR越大,通信质量越高,比如FM的抗干扰性能比AM更高,那么我们认为FM的可靠性更高
有效性与可靠性的矛盾、关联、互换的关系
比如,FM虽然抗干扰性能更高(可靠性更高),但是他的的传输占用带宽更大(降低了有效性),所以可以说这两个指标是难以兼容的,是矛盾的,而我们可以通过一些技术手段牺牲一种性能提高另一种性能,这就是二者之间的互换性。
数字通信系统
有效性
码元速率
码元速率又称为波特率(baud/s),表示一秒钟传输的符号个数
信息速率
信息速率又称比特率(bit/s),表示一秒钟信息量。
我们数字信号都是用二进制传输,我们举一例子来说明码元速率和信息速率的关系:
假如一个通信系统某一秒传输了一串数字序列:01010010
一般来说一开始最难理解的就是什么是符号,什么是比特,那么在这个例子中,我们看到的0,1就是比特,至于符号就要看进制了
- 假如采用二进制,那么 R b = 8 b i t / s R_b=8bit/s Rb=8bit/s,每一个比特他也是一个码元,故 R s = 8 b a u d / s R_s=8\space baud/s Rs=8 baud/s
- 加入采用四进制,比特还是那些比特,所以还是 R b = 8 b i t / s R_b=\space 8bit/s Rb= 8bit/s,但是这里是四进制,要两个bit才能表示一个符号,比如11表示4,这里的8个bit就只能传送4个符号,故 R s = 4 b a u d / s R_s = 4baud/s Rs=4baud/s
- 假如采用16进制,理由同上,这一秒就只传送了两个符号,
R
b
=
8
b
i
t
/
s
R_b = 8\space bit/s
Rb=8 bit/s,
R
s
=
2
b
a
u
d
/
s
R_s=2\space baud/s
Rs=2 baud/s
从以上的例子,我们推理,一个二进制码元的信息量为1bit,一个M进制码元的信息量就是 l o g 2 M b i t log_2M \space bit log2M bit
于是我们得到码元速率和信息速率的关系:
R b = R s l o g 2 M ( b i t / s ) R_b=R_slog_2M \space (bit/s) Rb=Rslog2M (bit/s)
R s = R b l o g 2 M ( b a u d / s ) R_s=\frac{R_b}{log_2M} \space (baud/s) Rs=log2MRb (baud/s)
我们还可以知道,信息速率一般是大于等于码元速率 ( R b = H ⋅ R s ) (R_b=H·R_s) (Rb=H⋅Rs),在M=2的时候,二者相等
频带利用率
单位频带码元频带利用率:
η
s
=
R
s
B
(
b
a
u
d
/
H
z
)
\eta_s=\frac{R_s}{B} (baud/Hz)
ηs=BRs(baud/Hz)
单位频带内信息频带利用率:
η
b
=
R
b
B
(
b
i
t
/
s
⋅
H
z
)
\eta_b=\frac{R_b}{B}(bit/s·Hz)
ηb=BRb(bit/s⋅Hz)
可靠性
误比特率
P b = 错 误 比 特 数 传 输 总 比 特 数 P_b=\frac{错误比特数}{传输总比特数} Pb=传输总比特数错误比特数
误码率
P
s
=
错
误
码
元
数
传
输
总
码
元
数
P_s=\frac{错误码元数}{传输总码元数}
Ps=传输总码元数错误码元数
一般来说,误码率
P
s
≥
P_s \geq
Ps≥误比特率
P
b
P_b
Pb,为什么呢,从二进制角度来说,二者是一样的,那么假如是四进制,一串序列00 11 01 10,加入第一个比特错了,这导致8个bit中错了一个,误比特率0.125,但是对于码元来说是4个码元中出现了1个错,意味着误码率有0.25