Learning to Communicate: Channel Auto-encoders, Domain Specific Regularizers, and Attention（阅读笔记）

Abstract

重点：为了恢复出在受损信道中传递的二进制信号，

解决方法：把这一问题看作是信道自动编码器中的损伤层的重构优化问题，并且引入了几个新的域特定的正则化层来模拟常见的信道损伤。

新颖的地方：本论文在解码器的输入端应用了一种基于无线电传输网络的注意力模型来帮助恢复规范的信号表示

我们解决了学习有效和自适应的方式来在受损的信道上传递二进制信息的问题。我们把这一问题看作是信道自动编码器中损伤层的重构优化问题，并引入了几个新的域特定的正则化层来模拟常见的信道损伤。我们还在解码器的输入端应用了一种基于无线电变压器网络的注意力模型来帮助恢复规范的信号表示。我们展示了这个体系结构带来的一些有希望的初始容量结果，并解决了几个剩余的挑战，然后才能实现这样的系统。

1 Introduction

无线电通信理论长期以来一直致力于寻找在各种通信信道上实现信息高效传输的算法。其范围从表现出相对简单的高斯噪声行为的热噪声受限通道，到表现出多径衰落、脉冲噪声、杂散或连续干扰以及许多其他复杂损伤的复杂得多的通道。信息论[1]和对调制方案的分析给出了在给定的传输速率、带宽和信噪比(SNR)下可实现的信息密度和误码率的界限，但没有告诉我们如何实现它们。

初步的解决办法：多年来，我们已经在这些边界上实现了许多离散操作步骤，允许在特定SNR值下高效操作。速率匹配和编码适配使我们能够通过选择许多离散工作点来继续非常接近此容量曲线运行，
存在的问题：但其中许多工作点在实践中计算复杂，需要昂贵的硬件或DSP软件才能在移动无线电系统中使用。

再提出新的方法：通过在具有一组域适当的代表性信道正则化器的信道自动编码器中通过优化重建cost来采取端到端通信系统的无监督学习的方法。

提出这个方法的目的：我们是为了寻求学习模糊调制和纠错之间的界限的新的调制方法，提供与误码率性能(BER)相似的信噪比，同时在运行时获得较低的计算复杂度要求。

应用前景：我们相信，这将导致一类新的通信系统，具有更大的普适性和适应传统通信系统不容易遇到的缺陷的能力。这种系统对无线系统的开发、部署和能力的潜在影响具有巨大的潜力。

2 Channel Auto-encoders

我们引入信道自动编码器作为学习端到端无线通信系统的主要方法。在其最简单的形式中，信道自动编码器包括编码器、信道正则化器和解码器。在本文中，我们的范围仅限于二进制通道自动编码器，其中输入值是二进制的，我们的输出目标是重构这些输入比特，但同样的体系结构也可以应用于实值信号的编码。图1提供了该模型的简单高级说明。

自动编码器为执行无监督学习提供了一种强大的方法。它们通过一系列的表示来优化重建损失，通常使用均方误差(MSE)和随机梯度下降(SGD)来提高回归质量。

通过使用诸如卷积层的层来强制移位不变性和减少网络参数的数量，以及使用诸如L1和L2正则化、输入噪声和丢弃的正则化，已经引入了许多增强，这些增强扩展了基本的自动编码器。这些正则化函数是通用的，适用于多种类型的数据，但我们也用特定于领域的正则化效果来补充它们

对于每个测量，我们使用100,000个示例的数据集，每个128个随机位，这只是整个输入代码空间(2128)的一小部分，但在大多数情况下足以使我们的网络收敛。我们将这个数据集划分为80%的训练和20%的测试/验证。

Loss in Channel Auto-encoders（通道自动编码器中的损耗loss）

均方误差是用于回归的自动编码器中常用的损失函数，我们在这里将其应用于0，1中的离散位。对于硬判决回归，我们可以使用硬Sigmoid输出层，而对于软回归，我们可以使用线性输出层。
另一种方法可以是输出比特似然的回归:

使用