Lattice原理及在通信中的应用 5 Applications -- AWGN Channel Coding

这一节我们主要讲一下Lattice在通信中的应用。

首先这篇paper来自 Uri Erez & Ram Zamir 2004年的经典论文 “Achieving $\frac{1}{2}\log (1+\text{SNR})$ on the AWGN channel with lattice encoding and decoding”. 本文证明了使用 lattice code可以achieve Gaussian 信道的 capacity.

考虑使用 n 次高斯信道传输 message。 我们用 n维 lattice 作为码字，即在 $n$ 次使用信道的过程中传输一个 n 维 lattice point $\mathbf{x}\in \Lambda$. 注意 $\mathbf{x}$ 有功率限制
$$\frac{1}{n}E[\Vert \mathbf{x}{\Vert }^2]\le P$$

即所有使用的码字的平均功率要低于 $P$.

接收信号可以为
$$\mathbf{y}=\mathbf{x}+\mathbf{z}$$

其中每次使用信道 $z[i]\sim \mathcal{N}(0,N)$. 此 AWGN 信道的 capacity 为
$$C_{\text{AWGN}}=\frac{1}{2}\log \left(1+\frac{P}{N}\right)$$

一个long-lasting problem is，如果用 lattice code 能否 achieve capacity. 本文证明，可以。

Intuition: 考虑一次传输 $y=x+z$, 假设 $x\sim \mathcal{N}(0,P)$, $z\sim \mathcal{N}(0,N)$ 那我们应该怎么estimate $x$ 尼？

注意 $x$ 是一个实数，因此在没有任何先验信息的情况，我们唯一能做的就是把 $y$ 当做 $x$,
$$\hat{x}=y$$

注意这是一个无偏估计，即 $\mathbb{E}(\hat{x})=\mathbb{E}(x)$, 估计的性能
$$\text{MSE}=\mathbb{E}[(\hat{x}-x{)}^2]=\mathbb{E}[z^2]=N$$

另一方面，如果我们有先验信息，即 $x$ 的分布 $\mathcal{N}(0,P)$，我们进一步降低 MSE: 构造有偏估计
$$\hat{x}=\alpha Y$$

更准确的说，in general 它是有偏的，如果 $x$ mean 为0那它是无偏. 此时 MSE
$$\text{MSE}=\mathbb{E}[(\hat{x}-x{)}^2]=\mathbb{E}[(\alpha x+\alpha z-x{)}^2]=(1-\alpha {)}^{2}P+{\alpha }^{2}N$$

它的最小值取在
$$\alpha =\frac{P}{P+N},{\text{MSE}}^{\ast }=\frac{PN}{P+N}$$

换句话说，如果我们知道 $x$ 的分布，那就可以算出最优的 $\alpha$. 那么这个有偏估计到底有多好尼，令 $P=1$, 之前的 MSE 就是噪声的功率 $N$, 而这里
$${\text{MSE}}^{\ast }=\frac{N}{1+N}=1-\frac{1}{1+N}<1$$

随着 $N\in (0,\infty )$, ${\text{MSE}}^{\ast }\in (0,1)$ 而且永远在 $MSE=N$ 之下，$N$ 越大，差距越大，所以这个 gap can be huge! 特别是在低信噪比下。

Lesson learned: 知道 prior information (sample variance of $\mathbf{x}$) 大有裨益。特别是在低信噪比下提升巨大。