信息量
信息量与消息出现的概率有关,消息越不可能出现,信息量越大
I
=
l
o
g
a
1
P
(
x
)
=
−
l
o
g
a
P
(
x
)
I=log_a\frac{1}{P(x)}=-log_aP(x)
I=logaP(x)1=−logaP(x)
信息的相加性:若干个互相独立事件的信息量等于各独立事件的信息量之和
底数
a
a
a通常取2,则信息量的单位为比特(b)
当离散消息等概率出现时,即每个符号等概率出现时,信源的熵有最大值
H
(
x
)
=
−
∑
i
=
1
M
P
(
x
i
)
l
o
g
2
P
(
x
i
)
H(x)=-\sum_{i=1}^{M}P(x_i)log_2P(x_i)
H(x)=−i=1∑MP(xi)log2P(xi)
信源的熵的单位为比特/符号
用 2 k 2^k 2k进制中的数字符号来传送信息(属于等概率情况),该进制下的一个波形即为一个码元,该码元(称作 2 k 2^k 2k进制码元)的信息量在二进制比特单位下即为 k k k,需要使用k个二进制脉冲来传送该码元
波特率
R
B
R_B
RB为码元传输速率,单位符号/s(波特)
比特率
R
b
R_b
Rb为消息传输速率,单位比特/s
R
b
=
R
B
∗
k
R_b=R_B*k
Rb=RB∗k
数字和模拟及一些概念
模拟信号:信号参量(非时间轴)的取值是连续的
数字信号:信号参量(非时间轴)的取值是有限的
信道:属于物理媒质
模拟系统
基带信号与带通信号:基带信号经过调制解调变成带通信号(按照调制方式分类)
数字系统
信源编码、信道编码
通信系统性能指标
有效性(频带利用率)
模拟系统
带宽越小频带利用率越高
数字系统
单位带宽内的传输速率
η
=
R
B
B
\eta=\frac{R_B}{B}
η=BRB
可靠性
模拟系统
信噪比(S/N)
数字系统
差错概率,用误码率和误信率表示
误码率
P
e
P_e
Pe为错误码元数的占比
误信率
P
b
P_b
Pb为错误比特的占比(在二进制视角下)
两者并不等价,因为二进制拓展码元可能发生不是全部比特(0/1)翻转的错误,比特未完全错误但整个码元错误了
信道
信道的分类
- (狭义)传输煤质:无线信道 有线信道
- (广义)调制解调:调制信道 编码信道
- 信道特性:恒参(恒定参量)信道 随参信道
无线信道
地波、天波、视线传播
视线传播距离计算公式
h
=
D
2
50
h=\frac{D^2}{50}
h=50D2,D为距离(km),h为天线高度(m)
信道模型
调制信道模型
e
o
(
t
)
=
k
(
t
)
e
i
(
t
)
+
n
(
t
)
e_o(t)=k(t)e_i(t)+n(t)
eo(t)=k(t)ei(t)+n(t)
噪声
n
(
t
)
n(t)
n(t)为加性干扰
随参信道
k
(
t
)
k(t)
k(t)发生改变为乘性干扰
编码信道模型
特性以转移概率描述
随参信道
特性:
- 信号的传输衰减时变
- 信号的传输时延时变
- 信号存在多径效应(经过几条路径到达接收端,每条路径的长度(时延)和衰减都时变)
多径效应产生的衰落(信号包络起伏,频谱范围变化)为快衰落
噪声
人为噪声 自然噪声
热噪声(白噪声)电压公式
V
=
4
k
T
R
B
(
V
)
V=\sqrt{4kTRB}(V)
V=4kTRB(V)
玻尔兹曼常数
k
=
1.38
∗
1
0
−
23
(
J
/
K
)
k=1.38*10^{-23}(J/K)
k=1.38∗10−23(J/K) ,T为热力学温度
信道容量
某单位下传输的平均信息量最大值
离散信道容量
- 每符号下– C C C ,b/符号
- 每秒下–
C
t
C_t
Ct ,b/s
H ( x ) = − ∑ i = 1 n P ( x i ) l o g 2 P ( x i ) H(x)=-\sum_{i=1}^{n}P(x_i)log_2P(x_i) H(x)=−∑i=1nP(xi)log2P(xi)
H ( x / y ) = − ∑ j = 1 m P ( y j ) ∑ i = 1 n P ( x i / y j ) l o g 2 P ( x i / y j ) H(x/y)=-\sum_{j=1}^{m}P(y_j)\sum_{i=1}^{n}P(x_i/y_j)log_2P(x_i/y_j) H(x/y)=−∑j=1mP(yj)∑i=1nP(xi/yj)log2P(xi/yj)是已经知道了收到的结果损失的不确定度
平均信息量/符号= H ( x ) − H ( x / y ) H(x)-H(x/y) H(x)−H(x/y)
连续信道容量
C
t
=
B
l
o
g
2
(
1
+
S
N
)
C_t=Blog_2(1+\frac{S}{N})
Ct=Blog2(1+NS)
其中噪声功率
N
=
n
0
B
N=n_0B
N=n0B ,单边功率谱密度乘以带宽
最大值为
1.44
S
n
0
1.44\frac{S}{n_0}
1.44n0S