Capacity of the Gaussian Two-Way Relay Channel to Within 1/2 Bit

System model

如上图所示，本文考虑 Gaussian TWRN.

[Signal Flow]

假设 Node i = { 1 , 2 } i=\{1,2\} i={1,2} 的 rate 是 $R_i$ (bits/channel use), 那么使用了 $n$ 次信道之后，他总共可以传 $n{R}_i$ 个 bits. 那他的codebook的大小就可以为 $2^{n{R}_i}$. 我们把 Node $i$ 使用 $n$ 次信道想传输的 message 记作
$$W_i\in \left\{1,2,3,...,2^{n{R}_i}\right\}$$

且我们假设两个人的信息 $W_1$ 和 $W_2$ 是独立同均匀分布的

在每次使用信道时，node i 实际传输的信息记作
$${\mathbf{X}}_{\mathbf{i}}={\left[X_i^{(1)},X_i^{(2)},...,X_i^{(n)}\right]}^{\top }$$

每个node $i$ 的信号在 relay 处叠加后，我们有
$${\mathbf{Y}}_{\mathbf{R}}={\left[Y_R^{(1)},Y_R^{(2)},...,Y_R^{(n)}\right]}^{\top }$$

Relay 从接收到的 $Y_R$ 中解出信息 $X_R$ 并把它广播出去
$${\mathbf{X}}_{\mathbf{R}}={\left[X_R^{(1)},X_R^{(2)},...,X_R^{(n)}\right]}^{\top }$$

下行，${\mathbf{X}}_{\mathbf{R}}$ 经过信道后，在各个node $i$ 接收的信号我们记作
$${\mathbf{Y}}_{\mathbf{i}}={\left[Y_i^{(1)},Y_i^{(2)},...,Y_i^{(n)}\right]}^{\top }$$

经过 n 次传输，最终两个节点要把对方的信息恢复出来。记恢复的信息为
$${\hat{W}}_i\in \left\{1,2,3,...,2^{n{R}_i}\right\}$$

[Channels]

上行信道是同时传输

1. $Y_R^{(t)}=X_1^{(t)}+X_2^{(t)}+Z_R^{(t)}$, 其中 $Z_R^{(t)}\sim \mathcal{C}\mathcal{N}(0,{\sigma }_R^2)$.
2. $X_i^{(t)}=f_i^{(t)}(W_i,{\mathbf{Y}}_i^{(t-1)})$ 即每一时刻传输的信号 $X_i^{(t)}$ 不仅是整个待传信息 $W_i$ 的函数, 而且还是之前所有下行接收信号的函数 (${\mathbf{Y}}_i^{(t-1)}$ 是vector)。
3. 上行每个人都有功率限制 $P_i$: $\frac{1}{n}{\sum }_{t=1}^n{\left(X_i^{(t)}\right)}^2\le P_i$.

下行信道是简单的广播信道

1. $Y_i^{(t)}=X_R^{(t)}+Z_i^{(t)}$, 其中 $Z_i^{(t)}\sim \mathcal{C}\mathcal{N}(0,{\sigma }_i^2)$.
2. $X_R^{(t)}=f_R^{(t)}\left({\mathbf{Y}}_R^{(t-1)}\right)$, 即relay 没有自己想传输的信息, $X_R^{(t)}$ 由它过去收到的所有信息决定。
3. Relay的功率限制: $\frac{1}{n}{\sum }_{t=1}^n{\left(X_R^{(t)}\right)}^2\le P_R$.

[Decoding]

每个node用自己接收到的信息和自己的side information来解对方发送的信息，即
$${\hat{W}}_2=g_1(W_1,{\mathbf{Y}}_1)$$

$${\hat{W}}_1=g_2(W_2,{\mathbf{Y}}_2)$$

Average probability of error:
P e = Pr { W ^ 1 ≠ W 1  or  W ^ 2 ≠ W 2 } P_e=\text{Pr}\{\hat{W}_1\neq {W}_1~\text{or}~\hat{W}_2\neq {W}_2\} Pe​=Pr{W^1​​=W1​ or W^2​​=W2​}

A rate pair $(R_1,R_2)$ is achievable if 存在一组编码解码函数 $f$ and $g$ 使得 $n\to \infty$ 时 $P_e\to 0$.

Capacity region 是所有可达的 rate pair 的闭集。

Cut-set Bound

我们关心的一个核心问题就是，TWRN的 capacity region 是怎样的。这个问题是 open problem。早期的研究给出一个简单的 cut-set upper bound.

---

Cut – 我们考虑一个有向图，其中有很多的 vertices 和 directed edges，而且每一条边都有一个数值，这个数值决定这条边能承载的流量。现在我们考虑从一个node A 流水到 node B，那么 A 的闸门一旦放开，水流就从所有有向边往 B 流。我们的问题是，我们慢慢增加A的水流量，这个图所能允许的最大水流量是多少？

直观上就能感觉到，这个水流量最大是受限于一些bottleneck边的。对于任意一条路径，只要某一条边把你的流量卡住，那不管其他边允许的水流量有多大都是于事无补的。由于这里我们考虑的不是一条路径，而是从所有路径一起流水，所以我们需要考虑的不是某一条边作为bottleneck，而是整个图的某一个cut作为一个bottleneck。而这个bottleneck cut也就是这张图的minimum cut。为了找这个cut，我们需要遍历图的所有cut，而每个cut都把图分成了两个set。

---

Capacity – 我们考虑这样一个场景，节点 A 把信息 X 传给 B。那么节点 B 对 X 肯定是有一些不确定性的，不然也就没有必要传输了, 而这种不确定性就是我们需要传输的东西。现在我们把 X 的不确定性用一个分布表示。shannon最早只考虑离散节点因此这个分布就是一个PMF $p(X=x)$，那么我们知道它的不确定性就是这个分布的熵 entropy $H(X)=H(p(x))$. 在没有传输之前，B 对 X 的不确定性是 $H(X)$, 而传输之后 B 收到了信息 Y，那它对 X 的不确定性变成了 $H(X|Y)$, 因此，这一次传输我们总共传递的信息也就是
$$H(X)-H(X|Y)$$

显然，如果我们画一个Venn图的话，$H(X)-H(X|Y)$ exactly就是 X 和 Y 之间的互信息。所以说，每次传输的最大信息量，也就是channel capacity, 定义为
$$C=\underset{p(x)}{\max }I(X;Y)=\underset{p(x)}{\max }\left[H(X)-H(X|Y)\right]$$

一般使得互信息最大的分布 $p(x)$ 也是最像channel noise 的分布。比如，高斯信道的最优 $p(x)$ 也就是Gaussian distribution.

---

Capacity of Gaussian channel – 比如我们来看一下高斯信道的capacity
$$Y=X+Z$$

取 $p(x)\sim \mathcal{N}(0,P)$ ，那么capacity可以写为
$$C=I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$$

$$=\frac{1}{2}{\log }_2(2\pi e(P+{\sigma }^2))-\frac{1}{2}{\log }_2(2\pi e{\sigma }^2)=\frac{1}{2}{\log }_2\left(1+\frac{P}{{\sigma }^2}\right)$$

这也就是我们常见的形式了。另外上式成立因为 Gaussian 的 differential entropy 是 $\frac{1}{2}{\log }_2[(2\pi e{)}^n\text{det}\Sigma ]$。那么考虑一维的情况就是 $\frac{1}{2}{\log }_2(2\pi e{\sigma }^2)$.

---

Cut-set bound – 好，现在我们可以来看看 cut-set bound 到底是干啥的。根据之前对cut的定义，我们需要找到TWRN这张图中的minimum cut。因此，我们遍历图中所有cut，而这张图的capacity也就是所有cut所允许的最小流量。

我们先考虑从node 1 传给node 2. 由于图中只有三个节点，因此我们可以进行两次cut，如上图中虚线所示。

1. 第一个cut把三个节点分成了两个set: {Node 1}, {Relay, Node 2}. 而这个cut所允许的流量定义为这两个set之间的互信息，也就是 {Node 1} 到 {Relay, Node 2} 的capacity：
   $$I(X_1;Y_R,Y_2|X_2,X_R)$$

2. 第二个cut也把三个节点分成了两个set: {Node 1, Relay}, {Node 2}. 而这个cut所允许的流量
   $$I(X_1,X_R;Y_2|X_2)$$

3. 因此，cut-set bound 给出这张图的capacity是这两个cut的最小值
   R 1 ≤ { I ( X 1 ; Y R , Y 2 ∣ X 2 , X R ) , I ( X 1 , X R ; Y 2 ∣ X 2 ) } R_1\leq \left\{I(X_1;Y_R,Y_2|X_2,X_R) ,I(X_1,X_R;Y_2|X_2) \right\} R1​≤{I(X1​;YR​,Y2​∣X2​,XR​),I(X1​,XR​;Y2​∣X2​)}

Remark 1 – cut-set bound 只是一个 upper bound。即原理上 capacity 不能再比 minimum cut 的capacity大，但是能不能一定 achieve minimum cut 的capacity 并不能保证。

Remark 2 – node 1使用了 $n$ 次信道把 $W_1$ 传给 node 2，它的目的是在无误码的情况下找到最大的可达rate pair (也就是 codebook size 最大)。但是这里我们只分析一次使用信道各个信号之间的互信息。相当于我们关心的是平均每次使用信道传输的bits。如果把上式两边同乘n那就是n次使用信道总共传输的bits。

同理，如果我们看从 node 2 传给 node 1 的水流，两个cut也能给出一个关于 $R_2$ 的cut-set bound。最终把它们放在一起有
R 1 ≤ { I ( X 1 ; Y R , Y 2 ∣ X 2 , X R ) , I ( X 1 , X R ; Y 2 ∣ X 2 ) } ( 1 a ) R_1\leq \left\{I(X_1;Y_R,Y_2|X_2,X_R) ,I(X_1,X_R;Y_2|X_2) \right\} (1a) R1​≤{I(X1​;YR​,Y2​∣X2​,XR​),I(X1​,XR​;Y2​∣X2​)}(1a)

R 2 ≤ { I ( X 2 ; Y R , Y 1 ∣ X 1 , X R ) , I ( X 2 , X R ; Y 1 ∣ X 1 ) } ( 1 b ) R_2\leq \left\{I(X_2;Y_R,Y_1|X_1,X_R) ,I(X_2,X_R;Y_1|X_1) \right\} (1b) R2​≤{I(X2​;YR​,Y1​∣X1​,XR​),I(X2​,XR​;Y1​∣X1​)}(1b)

这两个公式里面的每一项互信息在 $p(x_1)\sim \mathcal{N}(0,P_1)$, $p(x_2)\sim \mathcal{N}(0,P_2)$, $p(x_R)\sim \mathcal{N}(0,P_R)$, 且
$$p(x_1,x_2,x_R)=p(x_1)p(x_2)p(x_R)$$

时取到最大。注意，$x_R$ 是和 $x_1$, $x_2$ 独立的，也就是说从 $Y_R$ 到 $X_R$ 的操作使得他们独立（这里不是很懂，因为一旦改变$x_1$, $x_2$，$x_R$ 不也是会跟着改么？）.

Eq. (1a) (1b) 可以进一步被reduce to
$$R_1\le \min \left\{\frac{1}{2}{\log }_2\left(1+\frac{P_1}{{\sigma }_R^2}\right),\frac{1}{2}{\log }_2\left(1+\frac{P_R}{{\sigma }_R^2}\right)\right\}(2a)$$

$$R_2\le \min \left\{\frac{1}{2}{\log }_2\left(1+\frac{P_2}{{\sigma }_R^2}\right),\frac{1}{2}{\log }_2\left(1+\frac{P_R}{{\sigma }_R^2}\right)\right\}(2b)$$

Achievable rate region

好，现在终于进入了本文的重点，即，使用 lattice code achieve 的rate region. 注：要读懂以下内容得先了解 lattice code，推荐看一下本博客 math 专栏里面的lattice 基础 那一节。

本文有两个 users 和一个relay，因此选用了三个nested lattices ${\Lambda }_1\subseteq {\Lambda }_2\subseteq {\Lambda }_C$. 假设第一个用户的功率大一点 $P_1\ge P_2$, 因此 ${\Lambda }_1$ 的 Voronoi region 要比 ${\Lambda }_2$ 大，也就能容纳更多的码字, rate 也就更大. 最终在reciever，我们也会把所有的码字都 mod 到 $\mathcal{V}({\Lambda }_1)$ 中处理。

我们拿第一个用户举例，把它 Voronoi region 中的所有码字叫做 ${\mathcal{C}}_1$, 那么

1. 它传输的信息与 ${\mathcal{C}}_1$ 中的码字 ${\mathbf{W}}_1$ 是 one-to-one mapping。
2. 在传递 ${\mathbf{W}}_1$ 之前，用户先加扰，最后传输的码字
   $${\mathbf{X}}_1=({\mathbf{W}}_1+{\mathbf{U}}_1)\text{mod}{\Lambda }_1$$
   其中 ${\mathbf{U}}_1$ 是在 $\mathcal{V}({\Lambda }_1)$ 内均匀分布的，因此 ${\mathbf{X}}_1$ 也在 $\mathcal{V}({\Lambda }_1)$ 内均匀分布，且与 ${\mathbf{W}}_1$ 独立。

紧接着在接收端，我们收到的是
$${\mathbf{Y}}_R={\mathbf{X}}_1+{\mathbf{X}}_2+{\mathbf{Z}}_R$$

Given ${\mathbf{Y}}_R$, relay 计算
$${\tilde{\mathbf{Y}}}_R=\left(\alpha {\mathbf{Y}}_R-{\mathbf{U}}_1-{\mathbf{U}}_2\right)\text{mod}{\Lambda }_1$$

mod ${\Lambda }_1$ 的原因是因为 ${\Lambda }_1$ 的 Voronoi region 最大，我们所有的接收码字都在 $\mathcal{V}({\Lambda }_1)$ 中处理。在 compute-and-forward 那篇paper中假设所有人的发送功率一致，因此固定了coarse lattice相当于所有人收发全在同样的 Voronoi region种处理。而这里就相当于把功率最大的第一个用户的lattice当做coarse lattice。我们可以进一步推导 ${\tilde{\mathbf{Y}}}_R$ by