Going Deeper with Convolutions解读

使用循环神经网络进行自动调制分类

摘要：自动调制分类(AMC)技术是认知无线电(CR)和非合作通信系统的核心技术之一，也是一个亟待解决的难题。在这项工作中，作者提出了一种新的基于有前途的递归神经网络(RNN)的 AMC方法，该方法被证明有能力充分利用接收到的通信信号的时间序列特性。该方法直接利用数据长度有限的原始信号，避免了人工提取信号特征。将该方法与基于卷积神经网络(CNN)的方法进行了比较，结果表明该方法的优越性，特别是在信噪比在-4dB以上的情况下。此外，本文还对其他不同RNN结构的有效性进行了比较研究。提出了一种基于两层门控循环单元(GRU)的更有效的网络结构。数值结果表明，该结构的分类精度从80%提高到91%。

关键词：自动调制分类;递归神经网络;卷积神经网络;封闭的复发性单元

1．引言

近年来，无线通信技术迅速发展，成为人们日常生活的重要组成部分。在非合作通信场景中，需要捕获通信信号并恢复信息，需要正确的调制和编码信息。调制分类就是在接收到的信号中缺乏某种先验信息的情况下，盲目地进行识别。随着通信技术的发展和通信系统的日益复杂，AMC技术在多个学科上仍显示出其重要的地位。

文献中关于AMC的研究种类繁多，主要分为两大类:一种是基于似然理论(LB)，另一种是基于特征理论(FB) [1] .LB方法[2][2][3][4][5]利用假设检验理论，通过分析信号的统计特征形成判断标准。从贝叶斯估计的角度来看，它是最优的。然而，这类方法需要接收者有足够和准确的先验知识。潜在未知参数的存在和大量的计算量阻碍了其在实际中的应用。与LB方法相比，FB方法是次优的，但它们简单且易于实现。在[6]中，作者调查了传统的FB方法，并做了一个比较概述，其中他们指出FB方法主要关注特征提取和分类标准。实际上，在AMC领域中使用的特征有很多种，如瞬时时域特征、变换域特征[7]、统计特征[8]、星座形状特征等。FB方法还利用了许多类型的分类标准，包括决策树方法、支持向量机(SVM)或人工神经网络(ann)等。

近年来，随着深度学习(Deep Learning, DL)[9]的发展，许多研究者通过对深度学习的研究来改进AMC算法。与传统的FB技术一样，大多数基于深度学习的算法倾向于使用提取特征作为这些模型的输入。在用于数字调制识别的[10]，[11]中，作者选择了堆叠降噪稀疏自编码器作为输入数据为高阶累积量的调制分类器。在[12]中，作者提出了一种基于深度信念网络(DBN)的AMC识别方案。该方案充分利用基于SCF的特征，利用DBN对4FSK、16QAM、BPSK、QPSK、OFDM进行有效分类。在[13][14]中，O’shea等人提出了一种基于CNN结构的联合AMC方法，将特征提取阶段和分类阶段结合起来,并以标准信号数据集[15]为例进行了验证。但是，在下一节中可以看到，本文提出的CNN模型主要考虑的是接收到的通信信号的空间相关特征，而不是时域相关特征。

在本工作中，作者扩展了FB方法的主题，但这是基于RNN模型的。在[16]，[17]中，Graves指出RNN是一个强大的序列数据模型。在[18]中，作者采用LSTM (Long - Short - Term Memory)结构对信号进行分类，但需要提前人工提取信号的幅相特征。考虑到通信信号本质上属于时间序列，作者采用RNN模型来自然地处理AMC问题，并将同相和正交(I/Q)样本直接作为输入。作者工作的主要贡献在于:

(1)基于RNN模型，充分利用通信信号的时序特性，提出了一种新颖有效的方法。结果表明，与O'Shea CNN模型和I/Q输入样本相比，基本的RNN模型可以获得更高的分类精度。

(2)为了验证作者的方法并进一步提高其有效性，作者在两层GRU的基础上引入了一种合适的结构，并对三种RNN模型进行了比较研究。实验和仿真结果表明，采用该结构后，分类精度从80%提高到91%。

本文的其余部分组织如下。在第二节中，作者简要介绍了O’shea团队提供的公共数据集，并简要说明了采用的O’shea CNN模型作为基线。第三节给出了本文提出的基于RNN的方法的细节，第四节给出了仿真结果并进行了讨论。最后，作者在第五节得出了一些结论并对未来的工作进行了展望。

表1.数据集参数

数据源	RML2016.10a
调制模式	11类（WB-FM, AM-SSB,AM- DSB, BPSK, QPSK, 8PSK, 16QAM, 64QAM, BFSK, CPFSK and PAM4）
每个样品长度	128
样本数量	220000
信号的维度	2 x128 /样本
采样点数	128us
采样频率	1MHz
每条信号符号数	8
信噪比（dB）	-20:2:18

2.数据集和基线

A.数据集

考虑到单输入单输出(SISO)通信系统，接收机通常接收到如下信号。通常用比发射信号的波特率高好几倍的采样频率对接收端的复信号r(t)进行采样。

该数据集是由GNU Radio[15]生成的，作为本文的基准数据集。表1给出了数据集的显式参数描述。虽然在这个表中没有显示，但是信道对信号分类效果有很大的影响。在信号产生的过程中，除了基本的AWGN外，还考虑了采样率偏移、中心频率偏移、多径衰落等因素，使其更接近真实环境。

b .基线

在本小节中，作者将简要介绍O’shea等人提出的[13]，[14]方案作为基线。如图1所示，CNN模型由2个卷积层和2个密集的全连通层组成。最后的稠密层也是软max输出层，通过计算每个调制的分类概率来实现分类。

作者选择这个方案作为对比，以确认作者的方法的优越性在下一节。请注意，在计算[14]时，作者希望保持模拟参数与[14]中的最新结果一致。如图1所示。这两个卷积层分别采用50个滤镜，大小为1x8 tap。整流线性单元(ReLU)激活和dropout技术被用于两个卷积层和第一密集层。将Adam优化器和分类交叉熵损失函数应用于O'Shea方案。

3.拟议的结构

一般来说，接收到的通信信号的样本本质上是时域序列，发射端和接收端使用的带限滤波器在相邻的符号之间诱发相关属性，以及所遇到的信道脉冲响应。在本研究中，作者提出了一种新的基于RNN结构的AMC方法，并给出了不同但典型的RNN模型的分类效果。目前使用的RNN网络的一个重要优点是可以利用上下文信息分析映射关系。针对通信数据集，作者使用三种具有代表性的RNN模型进行分类比较。作者首先考虑简单的RNN[19]，它是一种标准的传统RNN模型。但是这个结构只能使用有限的上下文范围。在[20]中，为了避免长期依赖和梯度消失的问题，采用了LSTM。此外，GRU网络[21]作为LSTM的一种变体，在作者的问题中也被应用于构建推荐结构。图2给出了LSTM和GRU单元结构的详细说明。

图3提供了具有两层GRU网络模型的AMC结构。输入为I/Q样本，ti表示时刻t的同相数据，tq类似地表示时刻t的求积数据。每个t时刻, ti和tq被传输到所有GRU细胞。在这种方法中，T = 128，表示每个信号的采样长度为128。如图所示，GRU层分为两层，两层致密的全连通层。GRU1表示GRU第一层，、GRU2表示第二层。GRU层起到特征提取的作用，稠密层相当于分类器。在两个GRU层中应用ReLU激活功能。最后的稠密层是softmax输出层，通过计算每个调制的概率来实现分类。综合考虑数据集和作者的模型，RMSprop优化器性能更好，采用分类交叉熵损失函数。在使用LSTM模型或GRU模型时，剪辑参数也必须重置，否则在训练阶段损失函数不会收敛。

B.培训和测试

所有的培训和测试都由theano后台的Keras库进行。使用Nvidia GTX1080图形处理器加快计算速度。通过随机种子，随机选取数据集中的一半信号进行训练，另一半信号用于测试和验证。当验证损失值不再改善时再进行回调函数，训练会提前停止。

4. 仿真与结果

在本节中，作者的目的是评估RNN方法的可用性，并提供一个相对合适的选择。为了验证RNN模型的有效性，作者探索并比较了不同RNN模型的性能。此外，在前一节介绍的两层GRU网络的基础上，提出了一种更有效的结构，并在本节进行了仿真验证。

A. 不同RNN模型的性能

如图4 (a)所示，将CNN方法作为基线，与简单的RNN、LSTM和GRU网络进行比较。后三种具有相同的两个密度层，分别包含64个单元和11个单元。作者可以看到，在高信噪比(-4dB以上)下，三种单层RNN模型始终比CNN方法有6%的改进。然后进行了不同RNN模型下的比较研究，发现GRU结构下的分类精度明显优于其他结构。通过对不同参数下的仿真结果进行比较，提出了GRU结构的推荐方案。

图4 (b)给出了CNN和三种RNN方法的训练历史，包括训练损失、验证损失和训练时段数。从训练历史来看，简单RNN的训练损失和验证损失保持了最快的下降速度，CNN模型具有更好的收敛速度和最少的epoch数。相反，基于LSTM方法的方法在收敛速度上存在一个致命的弱点。虽然GRU和LSTM方法的收敛速度低于CNN和简单RNN，但GRU的损耗最小，GRU的损耗最小。从分类性能和所需训练epoch的数量方面，作者将选择基于grou的模型进行以下实验。

B.不同深度的GRU

为了测试和验证双层GRU网络的有效性，作者探索了不同的GRU深度对分类性能的影响。GRU层后，使用隐密层和软密层。图5。使GRU层数从1个增加到4个，提高了识别精度。结果表明，单层GRU的性能不如多层GRU。本实验的一个缺点是双层GRU在高信噪比的情况下分类精度更高。随着GRU层数的不断增加，仿真效果并没有改善。这似乎表明，作者的网络再也无法提取更深层次的特征了。因此，基于双层GRU网络的结构是合适的。

C.细胞数变化的GRU

在这一部分的模拟中，主要任务是优化固定深度的GRU单元的数量。调整每个GRU层的细胞数量，从50增加到200。图6显示了单层GRU模型下的分类性能，表明当单元数大于100时，分类性能基本一致。图6(b)提供双层GRU模型下的分类精度。结果表明，除了50个单元外，性能非常相似。综合了单层GRU模型和双层GRU模型下的各种情况，对双层GRU模型下的单元数进行了微调。最终的赢家是图6(b)中的"fine-tune"，其最大准确率为91.9%。

D.混淆矩阵分析

基于双层GRU方法，图7。在10dB、0dB和8dB的不同信噪比下展示了一系列的混淆矩阵。对于混淆矩阵，每一列表示预测类别，每一行表示实际类别。每个格子上的数字代表了概率。以8dB的混淆矩阵为例，图7 (c)表示在高信噪比情况下，影响分类精度的主要因素有两个。一方面，WBFM很容易被误认为是AMDSB。在该数据集上，模拟音频信号中存在静周期，从而导致了这种情况。另一方面，由于16QAM星座点被64QAM包含，在16QAM和64QAM之间识别调制类型存在一定困难。增加每个信号的输入符号可能在一定程度上克服这个错误。随着信噪比的降低，误差更加明显，如图7(a) (b)所示。

5.结论

本文提出了一种基于神经网络的新颖有效的AMC算法。与基于CNN的方法相比，该方法在高信噪比范围内具有明显优势，识别精度从80%提高到91%。通过简单RNN模型、LSTM模型和GRU模型在数值实验中的分析比较，提出并验证了一种基于参数合适的双层GRU模型的AMC推荐方案。未来的工作将集中在如何更有效地探索接收到的信号，以提高在低信噪比区域的AMC问题的性能。另一方面，由于现实中缺乏必要标记的信号，所提出结构的鲁棒性是一个非常重要的方面，因此，半监督方法，甚至是无监督方法，在AMC领域更值得考虑。

参考文献

[1] Know your meme: We need to go deeper. http://knowyourmeme.com/memes/we-need-to-go-deeper. Accessed: 2014-09-15.

[2] S. Arora, A. Bhaskara, R. Ge, and T. Ma. Provable bounds for learning some deep representations. CoRR, abs/1310.6343, 2013.

[3] U. V. C¸ atalyurek, C. Aykanat, and B. Uc¸ar. On ¨ two-dimensional sparse matrix partitioning: Models, methods, and a recipe. SIAM J. Sci. Comput., 32(2):656–683, Feb. 2010.

[4] J. Dean, G. Corrado, R. Monga, K. Chen, M. Devin, M. Mao, M. Ranzato, A. Senior, P. Tucker, K. Yang, Q. V. Le, and A. Y. Ng. Large scale distributed deep networks. In P. Bartlett, F. Pereira, C. Burges, L. Bottou, and K. Weinberger, editors, NIPS, pages 1232– 1240. 2012.

[5] D. Erhan, C. Szegedy, A. Toshev, and D. Anguelov. Scalable object detection using deep neural networks. In CVPR, 2014.

[6] R. B. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. In Computer Vision and Pattern Recognition, 2014. CVPR 2014. IEEE Conference on, 2014.

[7] G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov. Improving neural networks by preventing co-adaptation of feature detectors. CoRR, abs/1207.0580, 2012.

[8] A. G. Howard. Some improvements on deep convolutional neural network based image classification. CoRR, abs/1312.5402, 2013.

[9] A. Krizhevsky, I. Sutskever, and G. Hinton. Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems 25, pages 1106–1114, 2012.

[10] Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel. Backpropagation applied to handwritten zip code recognition. Neural Comput., 1(4):541–551, Dec. 1989.

[11] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324, 1998.

[12] M. Lin, Q. Chen, and S. Yan. Network in network. CoRR, abs/1312.4400, 2013.

[13] B. T. Polyak and A. B. Juditsky. Acceleration of stochastic approximation by averaging. SIAM J. Control Optim., 30(4):838–855, July 1992.

[14] P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus, and Y. LeCun. Overfeat: Integrated recognition, localization and detection using convolutional networks. CoRR, abs/1312.6229, 2013.

[15] T. Serre, L. Wolf, S. M. Bileschi, M. Riesenhuber, and T. Poggio. Robust object recognition with cortex-like mechanisms. IEEE Trans. Pattern Anal. Mach. Intell., 29(3):411–426, 2007.

[16] F. Song and J. Dongarra. Scaling up matrix computations on shared-memory manycore systems with 1000 cpu cores. In Proceedings of the 28th ACM International Conference on Supercomputing, ICS ’14, pages 333–342, New York, NY, USA, 2014. ACM.

[17] I. Sutskever, J. Martens, G. E. Dahl, and G. E. Hinton. On the importance of initialization and momentum in deep learning. In ICML, volume 28 of JMLR Proceedings, pages 1139–1147. JMLR.org, 2013.

[18] C. Szegedy, A. Toshev, and D. Erhan. Deep neural networks for object detection. In C. J. C. Burges, L. Bottou, Z. Ghahramani, and K. Q. Weinberger, editors, NIPS, pages 2553–2561, 2013.

[19] A. Toshev and C. Szegedy. Deeppose: Human pose estimation via deep neural networks. CoRR, abs/1312.4659, 2013.

[20] K. E. A. van de Sande, J. R. R. Uijlings, T. Gevers, and A. W. M. Smeulders. Segmentation as selective search for object recognition. In Proceedings of the 2011 International Conference on Computer Vision, ICCV ’11, pages 1879–1886, Washington, DC, USA, 2011. IEEE Computer Society.

[21] M. D. Zeiler and R. Fergus. Visualizing and understanding convolutional networks. In D. J. Fleet, T. Pajdla, B. Schiele, and T. Tuytelaars, editors, ECCV, volume 8689 of Lecture Notes in Computer Science, pages 818–833. Springer, 2014.