UA MATH636 信息论7 高斯信道

UA MATH636 信息论7 高斯信道


这一讲讨论Capacity of Bandwidth-Limited Gaussian Channel。这种高斯信道有两个重要特征:连续时间、带宽限制。假设Bandwidth-Limited Gaussian Channel输入与输出的关系是:
Y t = ( X t + Z t ) ∗ h t Y_t = (X_t + Z_t)*h_t Yt=(Xt+Zt)ht
这个信道的功能可以用下面的图表示:

input
input
Signal
+
Noise
Filter
Receiver

其中 X t X_t Xt是输入的信号, Z t Z_t Zt是高斯白噪声(参考SDE第一讲), h ( t ) h(t) h(t)是理想带通滤波器(ideal band-pass filter), Y t Y_t Yt是接收端收到的信号。假设 h t h_t ht(也记作 H ( f ) H(f) H(f) f f f是信号的频率)的带宽为 W W W,则
H ( f ) = I ( ∣ f ∣ ≤ W ) H(f)=I(|f| \le W) H(f)=I(fW)
运算 ∗ * 表示卷积。根据卷积的线性性,
Y t = ( X t + Z t ) ∗ h t = X t ∗ h t + Z t ∗ h t Y_t = (X_t + Z_t)*h_t = X_t *h_t + Z_t*h_t Yt=(Xt+Zt)ht=Xtht+Ztht
根据这个式子画出的信道的示意图为:

input
input
Signal
Filter
+
Noise
Filter
Receiver

高斯信道的容量

使用信号处理的Nyquist-Shannon采样定理:如果随机信号 f t f_t ft带宽被限制为 W W W,则抽样率为 1 2 W \frac{1}{2W} 2W1(每秒从随机信号中抽样 2 W 2W 2W次)的样本是 f t f_t ft的充分统计量;根据这个定理可以将连续时间信号转换为离散时间的来考虑。因为 X t ∗ h t X_t*h_t Xtht的带宽为 W W W,因此可以按 2 W 2W 2W的频率采样将其离散化。

关于 Z t Z_t Zt,它有一个重要的性质,高斯白噪声信号的功率谱密度(PSD)是常数,假设 Z t Z_t Zt的方差为 N 0 N_0 N0,则
P S D ( f ) = N 0 2 PSD(f)=\frac{N_0}{2} PSD(f)=2N0
考虑 Z t ∗ h t Z_t*h_t Ztht,这一项为filtered noise,它的功率谱密度为
R Z ∗ h ( f ) = N 0 2 I ( ∣ f ∣ ≤ W ) R_{Z*h}(f) = \frac{N_0}{2}I(|f| \le W) RZh(f)=2N0I(fW)
根据Nyquist-Shannon采样定理,按 2 W 2W 2W的频率对 Z t ∗ h t Z_t*h_t Ztht采样,样本是这个连续信号的充分统计量,并且是一个离散信号。

上一讲推导了离散时间高斯信道的容量为:
1 2 ln ⁡ ( 1 + P N ) \frac{1}{2}\ln \left(1 + \frac{P}{N} \right) 21ln(1+NP)
这一讲的目标是把这个公式套用到连续时间高斯信道上。

首先计算filtered noise的自相关函数(ACF,auto-correlation function),
A C F ( τ ) = F − 1 ( P S D ) = N 0 2 s i n c ( τ ) ACF(\tau) = \mathcal{F}^{-1}(PSD) = \frac{N_0}{2} sinc(\tau) ACF(τ)=F1(PSD)=2N0sinc(τ)
根据 s i n c sinc sinc函数的性质,样本的自相关函数为
A C F s a m p l e ( n 2 W ) = N 0 2 I ( n = 0 ) , n ∈ N ACF_{sample}(\frac{n}{2W}) = \frac{N_0}{2}I(n = 0),n\in \mathbb{N} ACFsample(2Wn)=2N0I(n=0),nN
不妨记离散的噪声序列为 Z ~ ( i 2 W ) \tilde{Z}(\frac{i}{2W}) Z~(2Wi),上式说明
E [ Z ~ ( i 2 W ) Z ~ ( i 2 W ) ] = N 0 2 E [ Z ~ ( i 2 W ) Z ~ ( j 2 W ) ] = 0 E[\tilde{Z}(\frac{i}{2W})\tilde{Z}(\frac{i}{2W})]=\frac{N_0}{2} \\ E[\tilde{Z}(\frac{i}{2W})\tilde{Z}(\frac{j}{2W})]=0 E[Z~(2Wi)Z~(2Wi)]=2N0E[Z~(2Wi)Z~(2Wj)]=0
从而采样的离散噪声序列服从 N ( 0 , N 0 2 ) N(0,\frac{N_0}{2}) N(0,2N0)

信号的power per sample为 P 2 W \frac{P}{2W} 2WP,因此做了离散处理后这个信道的容量为(这里的单位是bits/sample*sec)
1 2 ln ⁡ ( 1 + P N ) = 1 2 ln ⁡ ( 1 + P 2 W N 0 2 ) \frac{1}{2}\ln \left(1 + \frac{P}{N} \right) = \frac{1}{2}\ln \left(1 + \frac{\frac{P}{2W}}{\frac{N_0}{2}} \right) 21ln(1+NP)=21ln(1+2N02WP)
因此这个信道的信道容量为
C = W ln ⁡ ( 1 + P N 0 W ) C = W \ln \left(1 + \frac{P}{N_0W} \right) C=Wln(1+N0WP)
如果 P P P固定,
C ∞ = lim ⁡ W → ∞ C = lim ⁡ W → ∞ W ln ⁡ ( 1 + P N 0 W ) = P N 0 C_{\infty}=\lim_{W \to \infty} C = \lim_{W \to \infty} W \ln \left(1 + \frac{P}{N_0W} \right) = \frac{P}{N_0} C=WlimC=WlimWln(1+N0WP)=N0P
如果用bits为单位,则为
C ∞ = P N 0 ln ⁡ 2 C_{\infty} = \frac{P}{N_0 \ln 2} C=N0ln2P

Shannon Limit

假设某个通讯系统的传输率为 R b R_b Rb,其含义是传输一个 k k k bits的信号需要 T T T s,则
R b = k T R_b = \frac{k}{T} Rb=Tk
这个信号的能量为
E = P T = k E b E = PT = kE_b E=PT=kEb
E b E_b Eb的含义是energy per bit,则
E b = P T k E_b = \frac{PT}{k} Eb=kPT
根据信道容量的定义,
R b ≤ C ∞ ⇔ C ∞ R b > 1 ⇒ P / N 0 ln ⁡ 2 T k = E b N 0 ln ⁡ 2 > 1 ⇒ E b N 0 > ln ⁡ 2 R_b \le C_{\infty} \Leftrightarrow \frac{C_{\infty}}{R_b}>1 \\ \Rightarrow \frac{P/N_0}{\ln 2} \frac{T}{k} = \frac{E_b}{N_0 \ln2} >1 \Rightarrow \frac{E_b}{N_0} > \ln 2 RbCRbC>1ln2P/N0kT=N0ln2Eb>1N0Eb>ln2
也就是说,要实现reliable communication,单个字节的信噪比至少要超过 ln ⁡ 2 \ln 2 ln2,这里 ln ⁡ 2 \ln 2 ln2又叫做Shannon Limit,它是reliable communication的极限。

Beyond Shannon Limit

假设固定压缩率,对于长度为 N N N的信号,假设信源编码后被压缩为 k k k bits,则压缩率为 R = k / n R=k/n R=k/n。假设这一段是连续时间随机信号,则采样得到的样本数为 2 W T = N 2WT=N 2WT=N(Nyquist-Shannon)。从而
R b = k T = k N 2 W = 2 W k N = 2 W R R_b = \frac{k}{T} = \frac{k}{\frac{N}{2W}} = 2W \frac{k}{N} = 2W R Rb=Tk=2WNk=2WNk=2WR
根据信道容量的含义
R b = 2 W R < W ln ⁡ ( 1 + P N 0 W ) R_b = 2WR < W \ln \left(1 + \frac{P}{N_0W} \right) Rb=2WR<Wln(1+N0WP)
因为
P N 0 W = k E b T N 0 W = 2 R E b N 0 \frac{P}{N_0W} = \frac{kE_b}{TN_0W} = \frac{2RE_b}{N_0} N0WP=TN0WkEb=N02REb
带入到上面的不等式
2 R < ln ⁡ ( 1 + 2 R E b N 0 ) 2R < \ln (1+\frac{2RE_b}{N_0}) 2R<ln(1+N02REb)
从中求解出 E b / N 0 E_b/N_0 Eb/N0
E b N 0 > 2 2 R − 1 2 R \frac{E_b}{N_0} > \frac{2^{2R}-1}{2R} N0Eb>2R22R1
R → 0 R \to 0 R0时,这个下界趋近于Shannon Limit。

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:C马雯娟 返回首页