Neural Mutual Information Estimation for Channel Coding: 论文笔记

研究背景：
基于深度学习的物理层设计，即使用密集神经网络作为编解码器，近年来受到了广泛的关注。然而，虽然这样的方法自然是训练数据驱动的，但是无线信道的动作是使用标准信道模型来模拟的，标准信道模型仅部分地反映了物理地面的真实情况。

研究现状：
最近，已经提出了基于神经网络的互信息(MI)估计器，该估计器直接从输入输出测量中提取信道动作，并将这些输出馈送到信道编码器。

这是一个很有前途的方向，因为这种新的设计范式是完全自适应的，并且是基于训练数据的。本文实现了这些MI估计器的进一步改进，从理论上分析了它们对信道编码问题的适用性，并对它们的性能进行了比较。为此，提出了一种新的基于“逆Jensen”方法的MI估计器。

系统模型：

我们考虑一个具有发送器、信道和接收器的通信模型。发送器想要发送消息m∈M={1，2，…，2^nR}在噪声信道上以速率R使用编码函数f(M)=xn(M)∈Cn来使传输对噪声具有鲁棒性。
此外，对于每个消息m∈M，我们假设对应码字xn(M)上的平均功率约束1n Pi=1|Xi(M)|2≤P。
信道可以被定义为输入和输出序列Xn和Yn的转移概率密度Pyn|Xn(yn|xn)。如果通道进一步是无记忆的，则具有Pyn|xn(yn|xn)=qni=1p(yi|xi)，即时刻i的输出仅取决于时刻i的相应输入，并且与先前的输入无关。
接收机使用解码器g(Yn)=ˆm来估计和恢复原始消息。
现在的一般问题是找到最大通信速率R，使得对于足够大的n，误差Pec值可以任意小。这个最优速率R称为信道容量