On Open-Set Classification with L3-NetEmbeddings for Machine Listening Applications

摘要

On Open-Set Classification with L3-Net Embeddings for Machine Listening Applications
为机器听觉应用获得标记的数据是很昂贵的，因为标记音频数据需要人类去听录音。然而，最先进的基于深度学习的系统通常需要大量的标记数据来进行训练。这个问题的解决方案是用大量的未标记的数据集来训练神经网络，以提取嵌入，然后用这些嵌入来训练适合应用的小型但有标记的数据集上的浅层分类器。一个例子是 "看、听、学"（L3-Net）嵌入，它是在自我监督下训练的，以捕捉视频中的视听对应关系。由于浅层分类器的训练是辨别性的，因此默认了封闭集分类任务，它们在开放集分类任务中表现不佳。本文提出了一个神经网络，通过使用X-向量机制将属于一个录音的所有L3-Net嵌入合并成一个向量，并在此基础上提出一个开放集分类系统。在对属于2019年DCASE挑战赛的开放集声学场景分类任务进行的实验中，所提出的系统明显优于浅层判别式分类器和所有其他先前发表的系统，同时在多个封闭集机器听觉数据集上与浅层分类器表现相当。

引言

基于深度学习的模型是机器听觉的最先进技术，其总体目标在抽象意义上是以某种方式使用机器来理解音频。给音频文件贴上标签并使用卷积神经网络（CNN）作为光谱数据的分类器是迄今为止最流行的方法[1]-[5]。然而，为了训练这些模型，需要收集大量的标记数据。但是，标注数据是很昂贵的，因为它需要听录音，因此需要专家并花费时间。为了解决这个问题，可以用未标记数据的大型数据集来训练一个神经网络，其任务是从音频数据中提取嵌入。这些小维度的嵌入应该包含对音频文件进行分类所需的所有信息。然后，一个浅层分类器可以在从小型数据集中提取的嵌入上进行训练，这些数据是专门为单个机器听觉应用选择的。一个流行的例子是 "看、听、学"（L3-Net）嵌入[6]-[8]，它被训练来捕捉视频帧和音频片段之间的视听相关性。

在开放集分类任务[9]中，不仅有需要正确识别的已知类别（封闭集分类），而且有需要被系统标记为 "未知 "的未知类别（离群检测[10]）。主要的困难是，并非所有可能的未知类都是先验的。因此，对于这样的类，在训练时可以不提供样本，但在测试时仍需要拒绝该类的实例。总之，在遇到相同数量的已知类时，开放集分类问题要比封闭集分类问题更难解决。然而，对于现实环境中的机器听觉应用来说，开放集问题要普遍得多，因为只有在非常少的情况下才能确保在运行系统时可能出现的所有声音都是事先知道的。由于浅层分类器被