Deep Architectures for Modulation Recognition 阅读 2017

        无线调制识别不受网络深度限制，未来工作应该集中于改进学习同步和均衡，或许可以采用设计新的网络结构或训练方法来提高。

GitHub - qieaaa/Deep-Architectures-for-Modulation-Recognition: deep learning implement for modulation classification ,codes for paper <Deep Architectures for Modulation Recognition> (fastgit.org)

| 介绍

           A. Neural Network Architectures   

         深度网络一直被认为受限于不稳定的梯度爆炸或消失问题，近年来人们使用梯度归一化或非线性单元来解决，一些网络结构也被提出解决这个问题。

         The inception architecture:增加深度，泛化不同尺度，但复杂度良好。 四条并行路的级联。 可以防止梯度消失。

          residual networks:增加深度，通过归一化解决梯度消失。

        CLDNN：是一种处理原始时域波形的语音处理方法，使用两个跟着两个LSTM单元循环层的卷积层，也有一个bypass层。

        相似于有一个匹配滤波器的通信接收器（前置滤波器会为同步器抽取每个符号的少量样本，同步器执行相移以找到最佳采样点。然后采样器将其切成位或发出用于模拟调制的音频）的是：卷积层带有一个池化层，后跟一个LSTM。

        B Neural Network Training

        最近的研究尝试像常规参数一样使用梯度下降和反向传播优化超参数，我们不管超参数的训练，使用adam优化器，（提供梯度归一化和动量，能减少超参数的重要性）。

        建立一个基线卷积网络，（类似于Convolutional radio modulation recognition networks.）微调滤波器的数量和滤波器抽头数量，在测试不同架构对RF数据的合适性实验中将其看作不重要的超参数。

|| 技术方法

        使用RML2016.10a数据集，使用128长度的复数时域向量识别调制11种类别。

        以一个相似于CNN2的网络作为基线模型，对每一层我们改变是使用大小1*taps的nfilt滤波器。做一个简单的超参数优化以：找到对于RF调制识别最好数量的滤波器和滤波器大小;测试在其他领域用到的网络深度和滤波器大小的假设。

||| 结果

        A基线卷积网络

        使用有两个卷积层，一个完全连接层，softmax分类器，每个隐藏层使用RELU，dr=0.5。

        第一个超参数优化：卷积层的大小， 我们使用1*3的滤波器，改变滤波器数量进行研究，我们期望滤波器的数量的大变化导致的性能是相似的，如被期待的，20-90的滤波器数量变化带来了相似性能，如下图所示。

         所以接下来的实验我们每层使用50个滤波器。

        然后测试每个滤波器的大小，1*（3-12）进行测试，结果展示小的滤波器不如大的性能好，我们基于这个数据集的专家知识假设8是最好的，但实际很难区分到底谁最好，如下图。

         精确度展示7-12的抽头性能相似，差别数据统计不明显。

        最后测试网络深度，使用50个1*8的滤波器，开始使用2个卷积层，然后添加卷积层实验，实验发现性能几乎没有提高，也就是说没有更多的特征供我们的网络去学习了（数据通常只改变在幅度、频率、相位，不是非常高阶）

         B 残差网络 

        

       虽然添加更多卷积层不会带来精确度提高不令人惊讶，但没想到2-3层的卷积层就达到了分类和损失的停滞点，而残差网络本来是为了在深网络里解决高训练损失带来的训练困难。

        我们使用超参数优化的CNN和一个9层的残差网络对比，他们达到了相似的损失和精确度，但是残差网络训练轮次可以更少。此外实验发现，5-9层的残差网络有相似的训练时间与性能，结合我们的超参数研究可以发现，我们RF学习不受限于网络深度，而受限于CNN可以学习的特征。

C Inception 模块

        使用50 1*1的滤波器，50 1*3的滤波器，50 1*8的滤波器..1x3 和 1x5 过滤器分支前面还有 50 个 1x1 过滤器，结果发现在我们超参数优化的CNN模型上使用1-4个Inception 模块，性能没有提高。再次说明我们不受深度或滤波器大小限制。

 D LSTM 网络

        使用LSTM建模时间特征，测试两个和三层的卷积层，跟随一个循环层，使用CLDNN类型的结构（有和没有前向、旁路在循环层前）。

         结果显示了更好的分类精确度和更稳定的梯度下降，使用一个池化层可以类似于卷积匹配滤波器，但是不能帮助分类。

        下图是CLDNN的混淆矩阵：

        混淆主要发生在模拟调制之间和高阶QAM之间， 模拟调制将很难解决，但 QAM 可能会通过更好的同步和减少信道损伤来改进。

        为了研究CLDNN在每一层学习了什么，我们绘制了一些滤波器抽头的时频域表示，频域响应滤波器抽头使用zero-padded with 100 zeors 来得到128点的FFT，下图为第一层的两个选择滤波器。

         频域响应像一个整形低通滤波器，其他未展示的滤波器都有频域选择组件，DC阻断器和sinc类似的频谱形状。

        另一种可视化这些过滤器的方法是应用随机数据，对特定过滤器的输出执行梯度上升，该过滤器将收敛于最能激活卷积神经元的数据。结果如下， 有点像PSK,FM/FSK,向量也展示了一点常数相位旋转，需要注意的是，选择了这两个过滤器可视化，并不是所有过滤器对专家都有意义。 

 IV 讨论

        无线领域的深度神经网络的性能似乎不受限于网络深度，虽然我们集中关注的是调制识别，但我们期望其他的无线机器学习任务能够使用相似的网络结构，未来工作可能来自于提高训练方法与网络结构，能够学习转化RF数据移除其信道效应。目前正在探索的一个例子是使用空间变换来均衡和同步输入波形。