Wireless Image Transmission Using Deep SourceChannel Coding With Attention Modules 阅读2021

       extension://bfdogplmndidlpjfhoijckpakkdjkkil/pdf/viewer.html?file=file%3A%2F%2F%2FF%3A%2Fdownload%2F2012.00533.pdf

ADJSCC和BDJSCC源码：https://github.com/alexxu1988/ADJSCC

| introduction

        目前已经存在的基于DL的联合信源信道编码方法（JSCC）都假定用来优化网络的信道情况特别是SNR和实际通信系统种网络部署的信道情况是一样的，但实际上在网络优化和部署阶段，信道情况的不匹配会导致严重的性能下降，限制基于DL的JSCC技术的优势。若训练不同SNR级别的多个网络，在传送和接受时再选择，这会导致很大的计算和存储要求，限制了如IOT这种资源有限的应用的使用。        

        因此文章设计了一个能够成功运行在一系列SNR范围上的新的基于DL的JSCC方法，使用传统的JSCC设计原理。如下图：

        我们使用channel-wise soft attention网络来代替人工设计的资源分配策略，根据SNR的范围动态调整源编码和信道编码中的压缩比和信道编码率。使用注意力机制作为资源分配方法，根据信道 SNR 为编码过程中的中间特征分配不同的贡献，它还更有效地反馈信道信息，因为它将信道 SNR 中继回发射机而不是信道输出。另一个优点是我们的方法在信道不匹配时更强健。

II. SYSTEM MODEL

                

        联合信源信道编码器和解码器都知道信道SNR，输入图像为x∈Rn:H*W*C（channel)。n=h*w*c,联合源通道编码器对 x 和反馈 SNR μ 进行编码，生成一个复值信道输入符号Z∈Ck，编码过程为：

         k：信道输入符号的大小，θ是联合源道编码器的参数集，u是信道SNR，可以在联合源道解码器被估计，反馈传给联合源道编码器。为了满足联合源道编码器的平均功率限制，要求。

        噪音信道：,我们这里使用了AWGN。信道输出

 

        ω由具有分布的独立同分布样本组成，CN(.,.)是circularly symmetric complex gaussian  distribution,σ2是噪音功率。以上方法也可以用在其他可微信道如

        联合源道解码器使用解码函数为，是对原始图像x的估计， 是联合源道解码器的参数集，图像之间的失真可以表示为：

  xi:每个像素对应的颜色分量的强度。

        把图像大小n,信道输入大小k,R=k/n叫做源带宽，信道带宽和带宽比。对于具体的R，目标是确定编码器和解码器参数θ*（最优编码器参数）和以最小化期望失真：

p（x,x^)代表联合概率分布，p(u)代表SNR的概率分布。使用DNN建模编码器和解码器

  III. PROPOSED METHOD

        所提出的方法受到传统级联源信道编码器中的资源分配策略的推动，该策略将源编码器和信道编码器连接起来，并根据信噪比调整压缩比和信道编码率，以实现有限带宽下的图像最佳的重构质量。注意力机制使用额外的神经网络，可以在原始神经网络中严格选择某些特征或为不同的特征分配不同的权重，我们的方法叫做ADJSCC（基于注意力DL的JSCC）被构造为专门实现联合源信道编码。

        ADJSCC包括传送器的神经编码器和接收器的神经解码器。神经编码器包含多个非线性层，前几层的神经编码器可以被看作源编码器，其余被看作信道编码器；神经编码器的输入为信号源值，输出为信道符号。神经解码器执行相反的操作，我们的方法有两个增加的功能：

        1）通过允许源编码器输出更多或更少的符号，使得可以根据 SNR 调整压缩率；

        2）可以使用注意力机制动态调整与源编码器和信道编码器相关的子网络的大小，类似于根据SNR调整源压缩比和信道编码率。

        编码器和解码器都使用两种模块：特征学习模块FL和注意力特征模块AF，AF可以看作FL输出的过滤，FL基于卷积层设计。

     硬注意力机制生成一个包含等于 0 或 1 的元素的掩码，这些元素会改变有效特征的大小。但硬注意力非微分，阻碍反向传播。所以我们使用软注意，提取的特征被视为卷积核上的信号分量，捕获信道关系并为不同的信道特征生成不同的缩放参数，以增加或抑制它们与下一层的连接强度。这就是信道方式的软注意力。（特征信道而非通信信道）

         AF结构如图3的下部分。是FL提取的特征，AF使用全局平均池化层处理FG，然后与SNR信息连接，输入完全链接神经网络，生成一个缩放向量， 是被AF产生的缩放特征，由FG和缩放向量相乘得到。依据不同的SNR情况，会生成不同的缩放特征FA。

        AF包括：1）内容提取2）特征预测，3）特征校准

        1）内容提取：内容信息包括信道SNR u和特征信息IG。（使用卷积核提取图像特征，特征受限于感受野，一般无法感知该区域以外的信息，尤其是使用小核的特征提取）而全局平均池化能够使用FG的平均元素提取全局信息：

        

        然后级联SNR生成信息I。

         2）特征预测：使用特征预测圣经网络Pω（）和信息I预测缩放因子S ，Pω使用两个完全连接层（RELU和SIGMOID）限制输出在（0，1）内。

         3）特征校准：

IV. SIMULATION RESULTS

         使用当前最好的基于DL的JSCC作为基线结构BDJSCC。（使用参数RELU） BDJSCC Encoder除归一化层、reshape层和功率归一化层之外的层被分为五个模块。解码器类似。

 卷积/转置卷积层中的 F ×F ×K|S 表示它有 K 个滤波器，大小为 F，步幅向下/向上 S。

        对应的ADJSCC结构如下：

         通过改变编码器最后一个卷积层的输出通道大小c，可以获得不同的带宽比。

        两个模型使用MSE,PSNR比较，N个发送图像的平均MSE定义如下：（实践中使用此，而非公式6假定了SNR的分布）

         PSNR定义：

        MAX：最大图像像素，首先计算每个图像的 PSNR，然后对所有测试图像求平均值。

         lr=10e-4的Adam 优化器，batch size 128，epochs 1280，使用, CIFAR10训练和评估模型。训练集50000图，测试集10000。 我们不关心类别，目标是以最小失真从接受的数据中重建原始数据。

        为了适应动态信道环境，ADJSCC在【0，20】的均匀分布的SNR级别训练，BDJSCC在具体的SNR训练，两者都在具体SNR级别评估，测试集中的每张图传送十次，以减轻信道噪声随机性带来的影响。

 A ADJSCC 适应性实验

        考虑AWGN信道，ADJSCC（0，20）均匀分布，BDJSCC【1，4，7，13，19】dB,在【0，20】上评估。 带宽比R=1/12,1/6的实验结果如下：

        

         单独的性能ADJSCC高于BDJSCC，而随着带宽比的增加，  在高SNRtest处，ADJSCC和13/19训练的BDJSCC差距减小，几乎消失。 因此，我们得出结论，在低带宽比方案中，ADJSCC 带来了比 BDJSCC 更高的性能提升。

        以上性能评估说明ADJSCC模型可以适应SNR的变化，为了理解如何AF模型影响特征，我们研究了AF模块生成的缩放因子。传送CIFAR10数据集在固定的SNRtest,计算每个AF模块的缩放因子的平均和标准偏移。

 

         选择了编码器前64个信道的缩放因子，可以看到，1）缩放因子随着SNR增加波动更大，即缩放因子对高SNR更敏感，符合直觉。当SNR低时，信道噪音对每个特征都很严重，当SNR高时，一些特征对性能贡献更大，好特征的缩放因子会增加以提高性能，而坏特征的会减小以防止资源占用。2）随着AF变深不同snr的曲线的差异变小。即信道噪音对低阶特征影响更大，低级特征专注于图像的像素关系，而高阶特征更多地关注图像中隐含的语义表示，相比低阶特征，对信道噪音更强健，所以在d图中，不同SNR的缩放因子相似。

         可视化编码器在SNRtest1dB和19db第一个AF模块的第23个特征，这里使用尺寸更大的512*768维的kodak数据集的图像。

         可以看出在高SNR时，有关帽子的信息被增强了以对重建图像的质量做出更多贡献，低SNR帽子的细节信息容易被丢弃是合理的，也就是说在高SNR（？？应该是低吧)帽子的细节信息应该减少以节省发射功率得到更健壮的信息。

 B ADJSCC 健壮性实验

         研究信道不匹配时ADJSCC的健壮性，下图展示了R=1/6的两个模型在AWGN下的不匹配性能。与没有不匹配的情况对比，ADJSCC有相同的性能损失，性能仍然超过BDJSCC，特别是高SNR领域展示更好的健壮性，ADJSCC 相对于 BDJSCC 的增益在反馈 SNR 大的情况下更高。

 C. ADJSCC Versatility

         CIFAR10分辨率低，所以我们测试我们的方法在高分辨率图像上，值得注意的是，发射机传输的编码符号的持续时间需要小于相干时间，以保证真实无线场景传输过程中的恒定信噪比。

        训练ADJSCC在ImageNet dataset,在KODAK评估，选择大于128*128的图像，切割他们到128*128生成训练集，2epoch，batch size16 lr=0.001已经足够使ADJSCC模型CONVERGE,模型每200个训练btach保存，为了平均信道的随机性，KODAK图像每张传100次评估。我们在足够复杂的数据集IMGAENET上训练使得我们可以在KODAK上测试表现良好，此外，由于ADJSCC使用全卷积架构，所以评估数据大小（768*512）与训练数据大小（128*128）可以不一致，只要图像大小n是4的倍数，满足步长要求。

        下图展示在kodak数据集两模型的比较.在《17dB时两者差异忽略不计，》17时ADJSCC略低于0.3dB,但是请注意，SNRtest > 17dB 与 PSNR > 35dB 的图像相关，其质量几乎无法用人眼区分.

         下面给出一个视觉比较关于kodak数据集的样本图，即使SNR一致，重建图像由于噪音随意性每次也是不同的。

        

                 比较ADJSCC在CIFAR10或IMAGNET，测试在kodak或cifar10的性能。

         橙色高于蓝色符合传统要求：测试集应该和训练集有相似的分布以获得好性能，但这只差1-3dB的性能损失。但绿色相比红色却差很多，这是由于图像尺寸的不匹配，红色中ADJSCC训练在更高分辨率的图像上，而绿色训练在低分辨率图像。

        比较ADJSCC与传统的jscc,(一种针对有损信道的不等差错保护方案和固定包大小传送），我们的方法性能很好，并且不需要计算失真率，不会导致巨大的计算要求。

 Ⅴ 存储开销，计算复杂度

         计算R=1/6的ADJSCC和BDJSCC的存储开销，（与图片大小无关），BDJSCC需要40.78MB，ADJSCC需要41.04MB。 但是实际中需要使用BDJSCC的集合，BDJSCC-10和ADJSCC性能相似，但是存储开销为ADJSCC的10倍。

        复杂度：训练时间ADJSCC高于BDJSCC3.6%，推算时间高8.1%，但同样存在集合问题。

        总之我们的模型存储开销和复杂度计算都优于BDJSCC

未来工作：

        一个潜在的方向是将本文的方法扩展到高清图像和真实无线信道。