Feedback Code: the Modulo-SK Scheme

本文中我们介绍一些经典的 feedback codes. 主要是 the SK scheme and the modulo-SK scheme.

Introduction

在点对点信道中，shannon早已证明加入feedback信道不会影响前向信道的capacity，但是the SK scheme证明了如果发送端有无噪的feedback信息，那么前向编码将会变得异常简单而且能够在有限码长时大大提升误码率性能。但是不幸的是，一旦feedback有一丁点儿噪声，the SK scheme does not work! 前人也有一些工作致力于解决noisy feedback的问题，但是他们的方法繁杂而差。

本文的motivation就是，存不存在简单的编码方案使得 the SK scheme 在noisy feedback 时照样work. 当然，如果我们的目的是approaching capacity 这个任务不太容易做到. 即, 提出一种码长 $N$ 无限的编码方案使得 Pe goes to 0 且 rate 接近capacity
$$C=\frac{1}{2}{\log }_2(1+\text{SNR})$$.
Instead, 本文考虑的setup是: 给定一个target Pe (很小), 怎么设计一个方案使得capacity gap最小, where
$$\text{capacity gap}=\text{其达到 Pe 所需的 SNR}-\text{optimal Shannon scheme 达到 Pe 所需的 SNR}$$
注意这里没有定义码长。对于本文提出的MSK scheme, 一般码长很短就能达到 target Pe。对于 optimal Shannon scheme，码长可以是无限。更严谨的定义参见下一个section Setup中 $\Gamma$ 的定义。

我们的设计基于以下的观察:

1. Noiseless feedback, the SK scheme 的capacity gap 与$N$ 成反比，因此，$N$ 不用很大就能接近 capacity. Comment: 这个描述有点歧义，因为毕竟它Pe没有到0而capacity的定义是无误码传输的最大速度。作者的描述是在Pe很小时这一点点差距由rate distortion function决定，可以忽略。
2. The SK scheme 可以大致这么描述: 给定一串bits, node A 第一次传输用PAM编码即用一个标量表示这一串数发送给node B. 在接下来的传输中，node A通过无噪反馈完全知道node B的estimation error，于是每次传输都把node B estimation error scale之后node B。使用这种方法可以指数的降低node B估计误差的variance. The SK scheme 需要发送端完全已知node B的估计误差，因此只适用于noiseless feedback。但是noisy feedback时，我们可以让node B发送自己当前对message的estimate。注意，noiseless feedback时，passive, active feedback 没有差别.
3. 假设使用SK scheme且feedback 是 noisy的。那么，在每一次交互中，node B 知道的是PAM value + estimation error; 而node A 知道 PAM value。 因此，node B编码的问题是一个JSCC问题 with side info at node A. 因此，node B需要做的就是怎么样exploit node A的side info从而把estimation error 尽可能好传输给node A via the noisy feedback channel. 一个简单的利用方法便是使用 modulo arithmetic。
4. 按照以上方式，node A 便可以知道 nodeB 的estimation error 和feedback channel 带来的噪声。由于modulo这个operation是线性的，这个噪声可以被push到forward channel上去。

总之本文提出的scheme可以简单归纳如下

• node A 首先对自己的信息编码并用PAM发送。

在接下来的传输中，

• node B 每次都计算自己对 bitstream 的 linear estimate，scale the estimate，modulo一个固定的区间，再反馈给A。
• node A 对收到的信号进行modulo operation 得到B 的 estimation error (当然是noisy的), scale the noisy error, 再发给node B.

经过一些interactions, node B使用minimum distance rule进行decode.

Setup

我们考虑两个nodes A and B connected via 2 channels。 两个信道都是AWGN可以分别表示为
$$Y_n=X_n+Z_n$$$${\tilde{Y}}_n={\tilde{X}}_n+{\tilde{Z}}_n$$

其中噪声的power分别是 ${\sigma }^2$ 和 ${\tilde{\sigma }}^2$. Nodes A, B各自有一个power constraint $P$ 和 $\tilde{P}$. 前后向SNR分别定义为
$$\text{SNR}=\frac{P}{{\sigma }^2},\widetilde{\text{SNR}}=\frac{\tilde{P}}{{\tilde{\sigma }}^2},\Delta \text{SNR}=\frac{\widetilde{\text{SNR}}}{\text{SNR}}$$

Nodes A and B 分别有一个函数 $\phi$ and $\tilde{\phi }$ 来决定 $X_n$ 和 ${\tilde{X}}_n$:
$$X_n=\phi (W,{\tilde{Y}}^{n-1}),{\tilde{X}}_n=\phi ({\tilde{Y}}^n)$$

一对 $\phi$ and $\tilde{\phi }$ 决定了传输策略的 rate $R=\frac{\log M}{N}$ 和 Pe.

AWGN信道的Shannon capacity定义为 $\text{Pe}\to 0$ 时无误码传输的最大速率，这是所有可能schemes的上界，不管有没有feedback，不管 $N$ 多长，不管编译码算法多复杂。
$$C=\frac{1}{2}\log (1+\text{SNR})\text{\hspace{1em}(1)}$$

即，任意给定一个 SNR, 搜遍所有策略最多能做到 rate 是 $C$. Conversely, 任意给定一个 rate $R$, 要想达到它所需要的 SNR最小得是 $2^{2R}-1$. 由此我们可以定义 capacity gap
$$\Gamma =\frac{\text{SNR}}{2^{2R}-1}$$

Preliminaries

Uncoded PAM

PAM 是很经典的调制方式。Uncoded PAM 就只传输一次 $N=1$, 那么给定 $M$ 个消息(即$\log M$ 个bits), rate $R=\log M$ 也就是 bits 个数。我们可以把这 $R$ 个bits映射到 a set of $2^R$ amplitudes
{ ± 1 η , ± 3 η , . . . , ± ( 2 R − 1 ) η } \{\pm 1\eta,\pm 3\eta, ..., \pm(2^R-1)\eta\} {±1η,±3η,...,±(2R−1)η}.

其中 $\eta$ 是一个归一化因子使得这些幅值的均方是1, 此时
$$\eta =\sqrt{\frac{3}{2^{2R}-1}}$$

注：如果功率限制是 $P$, 那就set: $\eta =\eta \sqrt{P}$.

对于PAM来说，它的 Pe 取决于噪声超过两个amplitudes距离的一半的概率:
$$P_e<2Q\left(\frac{\sqrt{P}\eta }{\sigma }\right)=2Q\left(\sqrt{\frac{3\text{SNR}}{2^{2R}-1}}\right)\text{\hspace{1em}(2)}$$

即，PAM 的 Pe 取决于信道 SNR 和 bits个数 $R$ 即星座图的size。SNR 越小 或者 $R$ 越大都会导致星座图之间距离越近，Pe 增大。取反函数我们有
$$R>\frac{1}{2}\log \left(1+\frac{\text{SNR}}{{\Gamma }_0(P_e)}\right)\text{\hspace{1em}(3)}$$

其中 $${\Gamma }_0(P_e)=\frac{1}{3}{\left[Q^{-1}\left(\frac{P_e}{2}\right)\right]}^2\text{\hspace{1em}(4)}$$ 就是 capacity gap。这个很好理解，(2) 式指的是给定了 SNR 和 bit 个数 R, uncoded PAM 至少能做到 $P_e$；而(3)式的意思是给定 $SNR$ 和一个target $P_e$, 你至少能传输 $R$ 个bits。那么比较rate $R$ in (3) 和 Shannon capacity in (1), uncoded PAM 达到 $P_e$ 和 $R$ 所需的 SNR 比 (1) 多了 ${\Gamma }_0(P_e)$ 倍，即capacity gap. 举个例子，若想achieve $P_e=10^{-6}$, capacity gap of uncoded PAM is ${\Gamma }_{0,\text{dB}}=9\text{dB}$.

需要提及的是，如果使用 Gray labeling/mapping, $P_e$ 很小时，BER 和 SER 的关系是 $$P_b=P_e/R.$$

The SK scheme

下面我们来看一下 the SK scheme。

The SK scheme with active feedback

我们考虑 noiseless feedback, the SK scheme with active feedback 的伪代码如下：

csdn加的水印很讨厌，不过我们来大概解释一下就清楚了。首先 Initialization阶段node A直接把自己的 message 映射成一个PAM 星座 $\Theta$, 并且scale一下就发送给node B。而node B收到 $Y_1$ 后就尝试解 $\Theta$, 得到 ${\hat{\Theta }}_1$.

Remark: 这里其实有一个精度问题，就是当 $K$ 很长时，$\Theta$的表示对精度的要求非常高，这在电脑中不是问题，但是在无线发送和接收芯片中会是一个问题，即表示不了那么多位导致truncation，而truncation相当于加了非高斯的噪声，而且这个噪声和数据本身相关。

紧接着就开始迭代:

1. node B 每次都把自己当前对 $\Theta$ 的估计 ${\hat{\Theta }}_n$ 发送给 node A.
2. 由于feedback 信道无噪，node A 可以算出nodeB当前的estiamtion error ${\epsilon }_n$.
3. 于是 node A 把${\epsilon }_n$ scale 一下发送给 node B.
4. node B 收到 $Y_n$: 先估计 ${\epsilon }_n$ by $${\hat{\epsilon }}_n={\beta }_{n+1}{Y}_n,$$这便是被水印掩盖的第一个公式; 再更新 $${\hat{\Theta }}_{n+1}={\hat{\Theta }}_n-{\hat{\epsilon }}_n$$

当第 $N$ 次交互结束，node B decode the PAM constellation by minimum-distance decoding.