Convolutional Radio ModulationRecognition Networks阅读2016

2 Modulation Recognition

        调制识别可以看作N分类决策问题，输入是接收信号的复基带时间序列表示。真实世界的接收信号可以表示为如下公式：

        包含了真实世界的一些效应，通过随机残余载波nLo(t)调制，使用随机残余时钟振荡器nClk(t)重采样，具有时变旋转非恒定幅度的信道脉冲响应 h(t − τ )卷积，添加一个可能不是白噪音的噪音nAdd(t).每一个都是一个未知的时变错误源。

        在如此严酷的现实环境里最优化分析专家特征和决策矩阵很困难，通常会强行简化假设，在本文中，我们专注于在包括所有上述影响的恶劣模拟传播环境中对性能的经验测量，但不尝试以封闭形式分析跟踪它们的性能，

2.1 Expert Cyclic-Moment Features

        基于循环力矩的集成特征对于调制识别和形成用于分类的决策树广受欢迎，被描述为：

         通过计算瞬时或延时接收信号 r(t) 的 n 次方的 m 阶统计量， 可以得到区别于其他调制的独特的统计量以形成决策树。我们统计32个特征，包括循环时间延迟的0到8的样本，复数接收信号的前2次方的前2个矩，幅度，相位和每个时间延迟的绝对相位。

        用这些特征和scikit-learn训练了决策树、K最近邻、高斯贝叶斯和RBF-SVM模型，除此之外，还训练了一个3层的深度神经网络，仅包含大小512256和11个神经元的完全连接层，这些用来做基线模型以便性能评估，最好的性能由SVM和DNN获得。

2.2 Convolutional Feature Learning

        输入2维的iq实值数据表示复值信号。

3 Evaluation Dataset       

        机器学习虽然不赞成使用人为合成数据学习，但由于无线通信信号的某些特性，我们的模拟也是有意义的。

        无线通信信号实际上是综合生成的，我们用与现实一样的方法引入调制、脉冲整形、载波数据和其他与现实信号一样的传输参数，调制声音和文本数据为信号，在数字调制的情况下，使用块随机化白化数据（去除相关性）来确保比特等概率。我们使用强健的模型描述信道冲击响应的时变多径衰落、载频振荡器和采样时钟的随机漂移和添加的高斯白噪音，把我们生成的信号通过纳入了未知扩展、传输、偏移和冲击噪音的信道模型传输。

        使用GNU Radio建模数据集的生成，用128长度的矩形窗口切片每个时间序列信号为测试集和训练集。完整数据集500MBytes,复数32bit 浮点数。

3.1 数据来源

        http://radioml.com  包含时间窗口示例和相应的调制类以及SNR标签。

3.2 数据集参数

        包含11种调制“8数字f BPSK, QPSK, 8PSK, 16QAM, 64QAM, BFSK, CPFSK，PAM4，3模拟WB-FM, AM-SSB, and AM-DSB，以每个符号8个样本的速率调制，归一化平均发射功率为0dB。

3.3 数据集可视化

         每一类查看一个示例的时域和频域图如下，可以看到很多相似性和区别。但由于脉冲整形，失真，信道响应等，人为并不能轻易区分。

3.4 调制信息

        信号由定义清楚的基函数上调制的数据位组成，信号的复值基带表示把信号的电压水平时间序列变为他在载波频率上的正弦、余弦函数投影。对于不同的符号周期，数字调制中数据比特通过操纵频率、幅度、相位或他们所有的方式被离散地调制进入空间，模拟调制中则连续进入。QPSK的相位映射如下：

         通常应用诸如根升余弦之类的脉冲整形滤波器来对信号进行频带限制，消除不同模式之间的尖锐宽带瞬变，从而在发射机处以确定性和可逆的方式混合相邻符号的基数。在我们的模拟数据集中，我们使用根升余弦脉冲整形滤波器，每个数字信号的额外带宽为 0.35。

（这里翻译可能不太合适）

3.5 调制效应

        信道效应不是确定性和可逆的，真实系统会对信号有很多影响，使信号恢复和表示极具挑战性，热噪声在接收器处产生相对平坦的高斯白噪声，形成底噪或灵敏度水平和信噪比，由于发射器和接收器处的温度和其他半导体物理特性不同，振荡器漂移会导致符号定时偏移、采样率偏移、载波频率偏移和相位差。这些效应会导致时间偏移、缩放、通道之间的线性混合/旋转以及基于未知时变过程的接收信号的旋转。而且，真实信道在接收器处会基于有变化幅度、相位、多普勒和延迟的传输信号的到达模式滤波。这是一种通常称为多径衰落或频率选择性衰落的现象，它发生在信号可能被建筑物、车辆或环境中任何形式的反射器反射的任何环境中。这通常在接收器处通过估计时变信道响应的瞬时值和从接收信号中解卷积来消除。

3.6 生成数据集

        每次提取 128 个样本，移位 64 个样本以形成我们提取的数据集。每个包含 8 到 16 个具有随机时间偏移、缩放、旋转、相位、信道响应和噪声的符号。（？）这些示例表示有关调制数据位的信息、有关它们如何调制的信息、有关信号在传播过程中通过的信道影响的信息以及有关发射和接收设备状态以及包含的随机过程的状态的信息。我们特别关注恢复有关信号如何调制的信息，从而根据与调制方案对应的 11 个类标签的离散集来标记数据集。

 4 Technical Approach

        在这个应用中使用卷积神经网络背后的直觉是，他们将学习为许多时间特征形成匹配的滤波器，每个特征都有一些滤波器增益在较低的 SNR 下操作，并且当它们结合在一起时可以形成一个强大的分类基。

4.1 Learning Invariance

        我们试图利用卷积神经网络的平移不变特性来学习匹配滤波器，这些滤波器可以描绘符号编码特征，而无需专家理解或估计潜在波形。

4.2 Evaluation Networks

        4层网络：2个卷积层，2个完全连接层(CNN和CNN2)，除了在ONE-HOT输出层使用softmax激活函数，其他都使用RELU。使用正则化防止过拟合,CNN使用Dropout，||W||2作为卷积层权重惩罚最小化能量，||h1||作第一个完全连接层激活的惩罚因子寻求稀疏性，CNN2和DNN都仅使用dropout。  使用交叉损失熵和Adam solver训练，用Keras tensorflow。

        CNN如下图：

         CNN2同样但是更大，1，2层包含256和80个滤波器，层3包含256个神经元。DNN包含512，256，128和n类神经元的完全连接层。

 4.3 训练复杂度

        最复杂的模型 用Adam solver，900000个样本，batch size 1024，23min

         即使用了正则化t还是有过拟合，但验证损失并未受很大影响。 

4.4 学习的特征

        绘制卷积层1，2的滤波权重，第一层有64个1*3的滤波器，在这种情况下，我们只是得到一组在I 和 Q 通道上运行的一维边缘和梯度检测器。

         卷积层2把第一层的特征图组合为64*16*2*3的更大的特征图，包括同时在IQ通道发生的情况.

5 结果

        使用96000个示例训练，64000个示例测试验证，样本均匀分布在-20到+20dB之间并被标记，我们可以评估具体子集的性能。

        训练后，在所有SNR上实现了验证损失0.874，分类精确度66.9%，

        绘制不同分类器的分类精确度如上图，低SNR CNN2（dropout0.6)获得显然更好的分类精确度，性能优于专家特征2.5-5dB，但5dB后性能是相似的，这是一个很重要的性能提升，并且至少双倍扩大了感知系统的有效覆盖范围。

        对于高SNR CNN2(0.6),混淆矩阵如下：

         18dB,混淆发生在8PSK，QPSK,和WBFM与AM-DSB.（QPSK星座点由8PSK旋转而得，模拟语音信号有一段静音期，其中只有一个载波音，使其难以辨认）。

        探究性能随SNR的变化：

        在非常低的信噪比（-6），所有都是精确度（50±20）%，CNN2相比其他更清楚一点，性能更优。

6 模型复杂度

         

 

         观察训练时间:(17)CNN虽然训练时间久，但少于SVM，（18）分类时间CNN远远少于最近邻，SVM。 所以CNN是一个非常有吸引力的选择。

 7 结论

         虽然这些结果不是对现有的最佳案例专家特征调制分类器的全面比较，但还是可以看出与认为较好的方法相比，我们的方法是可行且效果好的，图7 证明了低SNR和短时信号（128），这是一个调制分类的有效方法。

8 未来工作

         （目前没有用于竞赛的强健数据集）未来基于此进一步评估我们模型的性能；

        CNN2的性能优化还有进一步优化空间，更大的滤波器，不同结构，池化层等；

        引入许多附加技术：引入不变性，添加相位偏移IQ不平衡等信道效应，空间Transformer网络在图像领域学习这种不变性效果很好，可以考虑；

        序列模型和循环层可能能够表示信号序列嵌入，并且几乎肯定会在更长的时间表示中证明是有价值的。