Slepian Wolf、WynerZiv和Gelfand Pinsker的极化码

在这里插入图片描述

https://ieeexplore.ieee.org/document/5503220

摘要

Polar码与连续消去算法相结合，已知对于信道和有损信源编码问题都是渐近最优的。在这两种情况下，编码和解码算法的复杂度都是O（Nlog（N）），其中N是代码的块长度。我们证明了极性码对于Slepian Wolf、Wyner Ziv和Gelfand Pinsker问题也能获得最佳性能。
极化码对于这些场景的最优性取决于极化码对于信道和有损源编码问题都是最优的这一事实。我们的结果扩展到这些问题的一般版本。

I.引言

Ankan在[1]中引入的Polar码是第一个可证明实现任意对称二进制输入离散无记忆信道（B­DMC）容量的实用码，编码和解码复杂度较低。此外，在[2、3，第3章]中，表明极性码以较低的编码和解码复杂度实现了有损源压缩的对称率失真界限。接下来要问的自然问题是，这些代码是否也适用于涉及量化和纠错的问题。也许这一领域最突出的两个例子是具有边信息的源编码问题（Wyner­Ziv问题[4]）和具有边信息（Gelfand Pinsker问题[5]）的信道编码问题。正如[6]中所讨论的，这些问题可以使用嵌套线性代码来解决。

极性码具有这样的嵌套结构，因此是这些问题的自然候选者。我们表明，通过利用这种嵌套结构，可以构造在两种设置下都是最优的极性代码（对于这些问题的二进制版本）。因此，极性码为这些问题提供了第一个可证明的最优低复杂度解决方案。

极码在点对点场景中的最优性进一步使我们能够为各种多终端场景构建最优方案，如Slepian-Wolf问题[7]、降级广播信道、多址信道和单助手问题。这份清单并非详尽无遗。

在本文中，我们只考虑Slepian-Wolf问题。关于其他问题的应用，请参阅第4章[3]。

为了清楚起见，我们仅限于上述各种问题的二进制版本。更确切地说，我们考虑的信道是二进制对称信道（BSC（p）），并且源是二进制对称源（BSS）。重建字母表也是二进制的。设失真函数为汉明失真函数，即，d（0，1）=d（1，0）=1，d（0，0）=d（1，1）=0。结果可以扩展到一般的B-DMC和来源。

第二节 极化码

对于信道编码，编码算法包括简单的矩阵乘法，并且使用连续消除（SC）算法来完成解码。在有损源代码的情况下，角色是颠倒的。编码算法采用SC策略，解码算法涉及矩阵乘法。有关代码和算法构造的更多详细信息，请参阅[1]、[3]。

第三节 Wyner-Ziv问题

让Y成为BSS，并让解码器访问随机变量Y′.这个随机变量通常称为边信息。我们假设Y′与 相关Y以下列方式：Y’=Y+Z其中Z是B§随机变量。编码器的任务是压缩源Y，调用结果X，以便解码器可以访问(Y′,X)可以在失真内重建源D.

代码Cs（集合Fs）被设计为用于失真D的良好源代码。
此外，对于每个v，代码Cc（v）（集合Fe）被设计为BSC（Dp）的良好信道代码。
定理2（Wyner-Ziv问题的最优性）：
设Y是BSS(二进制对称信源)，Y’是与Y相关的伯努利随机变量，Y’=Y +Z，其中Z ~ Ber（p）。
固定失真D，0＜D＜1/2。对于任何速率R>h2（Dp）-h2（D）和任何0<β<1/2，存在长度为N、速率为RN<R的嵌套极性码序列，使得在编码器处使用随机舍入的SC编码和解码器处使用SC解码的情况下，它们实现满足DN≤D+O（2-（Nβ））的预期失真DN。此外，块错误概率满足 该方案的编码和解码复杂度为0（N log（N））。

四、 GELFAND-PINSKER问题

Gelfand-Pinsker 问题是在具有状态的通道上的通道编码问题。状态对于编码器是因果已知的，但解码器不知道。这个问题被研究，其容量由Gelfand和Pinsker在[5]中确定。让我们考虑这个问题的二进制版本;它也被称为信息嵌入问题。让S表示 Ber(12)随机变量。随机变量S是 B-DMC 的状态。B-DMC 的输出由下式给出
Y=X⊕S⊕Z,
其中X是输入，Z是Ber（p） 随机变量。状态S编码器因果关系已知，但解码器不知道。编码器上的通道输入，表示为X，被约束为满足E[X]≤D.换句话说，编码器在最多使用分数的约束下运行D平均一个。没有这个约束，问题就微不足道了。在这种情况下，编码器可以通过添加S¯自X¯(S¯⊕X¯).在这种情况下，编码器和解码器之间的结果通道将是 BSC（p).但是，如果我们施加输入约束，问题就变得不平凡了。输入约束类似于连续输入情况的功率约束。

该通道的Gelfand-Pinsker速率区域在[9]中确定。可实现的速率-权重对由下式给出
其中R GP（D）=h2（D）-h2（p），且u.c.e表示上凸包络。在这里，我们专注于实现RGp（D）形式的速率。剩余速率可以通过与对（0，0）进行适当的分时来实现。

五、无损压缩和SLEPIAN-WOLF问题

我们首先考虑 Ber 的无损压缩§源。无损压缩问题可以映射到平衡计分卡上的通道编码问题§使用综合征编码[10]。映射将产生以下最优结果。
定理4：

参考文献

[I] E. Ankan, “Channel polarization: A method for constructing capacity­
achieving codes for symmetric binary-input memory less channels,” IEEE
Transactions on Information Theory, vol. 55, no. 7, pp. 3051-3073,
2009.
[2] S. B. Korada and R. Urbanke, “Polar codes are optimal for lossy source
coding,” submitted to IEEE Trans. Inform. Theory, 2009.
[3] S. B. Korada, “Polar codes for channel and source coding,” PhD.
dissertation, EPFL, Lausanne, Switzerland, July 2009.
[4] A. Wyner and J. Ziv, 'The rate-distortion function for source coding
with side infonnation at the decoder," IEEE Transactions on Information
Theory, vol. 22, no. 1, pp. 1-10, 1976.
[5] S. 1. Gelfand and M. S. Pinsker, “Coding for channel with random
parameters,” Problemy Peredachi Informatsii, vol. 9(1), pp. 19-31, 1983.
[6] R. Zamir, S. Shamai, and U. Erez, “Nested linear/lattice codes for
structured multitenninal binning,” IEEE Transactions on Information
Theory, vol. 48, no. 6, pp. 1250-1216,2002.
[7] D. Slepian and J. Wolf, “Noiseless coding of correlated infonnation
sources,” IEEE Transactions on Information Theory, vol. 19, no. 4, pp.
471-480, 1973.
[8] D. Aldous and J. A. Fill, Reversible Markov chains and random walks
on graphs. Available at www.stat.berkeley.edu/users/aldous/book.html.
[9] R. 1. Barron, B. Chen, and G. W. Wornell, “The duality between
information embedding and source coding with side infonnation and
some applications,” IEEE Transactions on Information Theory, vol. 49,
no. 5, pp. 1159-1180, 2003.
[10] T. C. Ancheta, “Syndrome-source-coding and its universal generaliza­
tion,” IEEE Transactions on Information Theory, vol. 22, no. 4, pp.
432-436, July 1976.
[II] E. Ankan and E. Telatar, “On the rate of channel polarization,” in Proc.
of the IEEE Int. Symposium on Inform. Theory, Seoul, South Korea,
July 2009, pp. 1493-1495.