SR2CNN Zero-Shot Learning for Signal Recognition（SR2CNN：用于信号识别的零试学习）

SR2CNN Zero-Shot Learning for Signal Recognition

SR2CNN：用于信号识别的零试学习

信号识别是信号处理和通信领域的一项重要而富有挑战性的任务。通常情况下，某些信号类别没有可以使用的数据来执行识别任务。因此，作为图像处理领域中广泛应用的零试学习（zero-shot learning，ZSL）对于信号识别也非常重要。不幸的是，由于难以解释的信号语义，关于这个领域的ZSL几乎没有被研究过。本文提出了一种ZSL框架，即信号识别与重构卷积神经网络（SR2CNN），以解决这种情况下的相关问题。SR2CNN通过引入交叉熵损失、中心损失和重构损失的适当组合，以及采用合适的距离度量空间，使语义特征的最小类间距离大于最大类内距离，来学习信号语义特征空间的表示。而且，由于持续的细化语义特征空间中的类中心向量，SR2CNN能够在信号检测的帮助下逐步改善他自身。

引言

如今，随着深度卷积神经网络的发展，CCN在信号识别领域已经取得了显著成果。通常，绝大多数现有的学习方法都遵循封闭集假设，也就是说，假设所有的测试类别都与培训类别相同。然而在实际生活中，新的类别经常出现，而模型却只有在现有的有限可知类下进行训练。开放集学习（测试样本可能来自不可知类）被提出部分解决这个问题。开放集识别系统的目标是拒绝未知类别的测试样本，同时保持已知类别的性能。然而，在某些情况下，学习模型不仅应该能够区分未知类和已知类，还应该能够区分不同的未知类。零试学习是解决上述问题的一种方法，并且已经运用到了图像任务中。对于图像，我们很容易提取一些特定的高级描述作为语义属性。例如，从斑马的图片中，我们可以提取以下语义属性(1)颜色：白色和黑色，(2)条纹：是，(3)大小：中等，(4)形状：马，(5)陆地：是。然而，对于真实世界的信号，由于模糊的信号语义，几乎不可能有高级别的描述，因此虽然ZSL已经被广泛运用于图像任务，但没有用于信号识别。

本文致力于学习一个不仅能区分可知类还可以区分未标注的不可知类的框架。对于这个问题，需要解决的关键问题是自动的学习信号语义属性空间的一个表示。在本文的方案中，CNN联合自动编码器去提取语义属性特征。然后使用一个适当地定义地语义度量对语义属性特征进行了很好地分类。整体结构如下图：

此外，为了建立一个自进化学习模型，当算法连续执行时，需要考虑增量学习。增量学习的目标是动态地使模型适应来自新数据的新知识，而不忘记已经学习的知识。基于增量学习，随着时间地退役获得的模型会逐渐地改善。

文章贡献

（1）首先，提出了一个基于深度CNN的零试学习框架SR2CNN用于开集信号识别。SR2CNN被训练来提取语义特征z同时保持解码器和分类器的性能。然后，语义特征z被用来区分信号类别。

（2）其次，大量的实验证明SR2CNN不仅能够鉴别可知类还可以鉴别不可知类同时逐渐改善自身。

（3）提出了一个新的数据集SIGNAL-202002.

让X,Y分别表示信号的输入空间和输出空间。集合Y被分割为K和U，分别可知类和不可知类的标签集。给定训练数据 ，任务是推断和识别属于Y的信号类别。具体来说，当我们获得输入数据 ​​​​​​​ ，提出的学习框架能够正确的预测标签y 。该学习框架与开放集学习的不同之处在于，我们不仅将x分类为K或U，而且还预测标签y∈Y。注意，Y包括已知类K和未知类U。

我们关注使用语义知识识别K和推断U的ZSL。为此，我们首先将X映射到语义空间Z，然后将语义编码映射到类标签。在数学上我们使用如下的非线性映射去描述我们的方案。H是两个函数的组合，F和P定义如下，如：

 因此，我们的任务是去找到左边正确的F和P以构建一个能识别可见和不可见信号类的学习框架。

提出的方法

从整体上而言整个学习框架由下边的四个模块构成：

1. 特征提取器（F）
2. 分类器（C）
3. 解码器（D）
4. 判别（鉴别）器（P）

所提的方法主要由两个步骤组成。第一步，通过F,C和D为信号建立一个语义空间。F,C和D的结构如下图所示：

 F由CNN架构搭建，将输入信号投射到潜在的语义空间表示上。C有一个全连接神经网络构成，采用隐藏的语义空间表示作为输入，并决定数据的标签。D由其它的CNN架构构建，致力于产生尽可能与输入信号相似的重构信号。

第二步，为训练的语义空间找到一个合适的距离度量，并使用该距离来区分信号类别。P被设计用来区分所有类别，包括已知和未知。

特征提取器、分类器和解码器

考虑到信号的独特性，F的输入形状应该是两行的矩形矩阵，而不是方形矩阵。在本方案中F由四个卷积层和两个全连接层构成。为了最小化Z空间中的类内变化，同时保持类间语义特征的良好分离，使用了中心损失（可以增加类内的紧凑性，由于类内不断紧凑类间距离也会随之变大）。

其中 是 的预测。

 使用自动编码器以保留Z中有效的语义信息。解码器D被用来从Z中重构Z。它由反卷积，上池化和全连接层构成。具体来说，最大上池化保持最大池化期间的最大位置信息，然后对应位置的最大值并将其余位置置为0图3（a），类似的，平均上池化以复制的方式扩展特征映射如图3(b)。

反卷积也叫转置卷积，用于从输出中恢复输入的形状，如图3(c)所示。

除此之外，重构损失被用来评估原始信号数据和重构信号数据之间的不同：

 

 鉴别器

鉴别器P是该框架的尾部但确是核心。它基于隐藏语义空间Z鉴别可知和不可知类。对于每一个可知类k，特征提取器F提取和计算对应的语义中心向量 ​​​​​​​如下：

 

 

集识别方法相比，SR2CNN的显著优势在于，SR2CNN可以大致区分测试集中有多少未知类，而不仅仅是将测试样本标记为未知类。

结论

在本文中，我们提出了一个ZSL框架SR2CNN，它可以成功地提取信号的精确语义特征，并区分已知类别和未知类别。SR2CNN可以在我们没有足够的训练数据的情况下很好地工作。此外，SR2CNN通常可以通过更新语义中心向量来改进自身。大量实验证明了SR2CNN的有效性。此外，我们还提供了一个新的信号数据集signal-202002，其中包括八个数字和三个模拟调制类，以供进一步研究。最后，我们想指出，由于我们经常有I/Q信号，未来研究的一个可能方向是使用复杂的神经网络来建立语义空间。