Metric-based meta-learning model for few-shot fault diagnosis under multiple limited data conditions

Metric-based meta-learning model for few-shot fault diagnosis under multiple limited data conditions

多种有限数据条件下基于度量得故障诊断元学习模型

近年来由于信息技术和传感器技术地发展，使大工业情境变成了一个数据丰富地环境，但是在有的实际情境中，目前还是很难收集到足够多地数据。例如，当突然地灾难性故障发生时，在系统关闭前仅能够采集到很少地样本。为了解决在非常有限数据集地情况下，利用小样本准确地识别故障属性，本文提出了一种叫做基于特征空间度量的元学习模型（FSM3）。该方法混合了一般的监督学习和情景度量元学习，利用来自个别样本的属性信息和一组样本的相似信息。

相关背景

小样本学习在计算机视觉领域，现在是一个非常热的话题，特别是在图像分类方面。尽管方法的设计各不相同，但这些工作的一个共同特点是，它们从一些不相交的源域中利用了一个大的、完全注释的辅助集，其中，随机抽取一系列小样本学习任务去模拟小样本的学习情景，最后提取一般知识作为附加信息，以促进目标域中的小样本学习任务，从而形成元学习的思想。图像分类中的源域和目标域通过将一个大型数据集按类别随机拆分来获取。在故障诊断领域，数据是通过其工作条件和故障属性收集的，具有明显的区分性。通常来说机器不会工作在高负载的情况下更不会带着故障工作，这导致只有少量的有效故障样本能够被收集到。同时，有许多来自其它情况的数据可以为有限数据的任务提供可迁移的知识。因此将元学习和小样本学习结合进行故障诊断时是合理的。
本文所提出的基于特征空间度量的元学习模型（FSM3），该方法基于两种用于小样本学习基于度量的元学习方法，匹配网络（MN）和原型网络（PN）。但是仅仅基于度量的训练只教会模型关注来自样本组的相对相似信息，因此忽略了每个特定类别的属性信息，这意味着标注的源数据没有得到充分的利用。为了解决这个问题，设计了一种混合的方法，其结合了一般监督学习和度量元学习的优点。
具体来说，在模型的开始几层被用一般的广义监督方式训练来识别源数据的故障类型，然后将这几层固定作为一个特征提取器，将原始数据转换到基本特征空间。最后利用提取的特征通过度量元学习训练模型的剩余部分。这样，该模型不仅可以利用数据对之间的相对信息（相似信息），还可以利用单个样本的监督信息。

小样本学习

有监督监督分类任务T通常由一个训练集（支持集，表示为S）和一个测试集（查询集，表示为Q）组成，其中训练集包含用于训练模型的标注数据，测试集包含来自同一域的未标记数据，以评估训练的性能。当训练集的数量很小的时候，这个任务被称为一个小样本学习任务，如下图（a）。
近来提出的用于小样本学习的方法主要利用一些来自源域的辅助集提取知识，以帮助目标域中给定的小样本支持集进行模型训练，如下图（b）。辅助集包含大量的标记数据，其标签空间与目标域的标签空间不相交。利用源域数据的一种方法是随机抽取一系列的小样本学习任务。从这些任务和分类模型之间的交互过程中提取可迁移的知识，以促进目标域的任务，这形成了情景训练机制，在这里每一个小样本学习任务被考虑为一个情景，整个过程也可以被视为一个元学习。

根据从辅助任务中提取的知识的不同形式，最近的小样本学习领域主要有两个分支，即基于度量的元学习和基于优化的元学习。基于度量的元学习模型试图学习一个统一的、与类别无关的特征空间，即样本的类内距离小于类间距离。查询样本根据它们与学习空间中每个支持样本的距离进行分类。基于优化的元学习模型利用一个额外的可训练模型（元模型）来执行分类模型的参数更新，元模型经过训练，通过在查询集上运行良好的有限支持集生成合适的分类参数。在本文中，我们遵循了基于度量的元学习的思想，提出了一种新的FSM3用于小样本诊断问题

具体实施方法

本方法从多个方面扩充了小样本学习模型：匹配网络（MN）和原型网络（PN）。
FSM3由三个模块构成：特征提取器（FE）、全局分类器（GC）和度量嵌入（ME）模块。如下图所示：

对于故障诊断任务，输入样本为机械的振动波，是一个一维信号，因此在模型中使用了一个一维卷积网络。设置第一层的卷积核很大。度量嵌入模块包含两个卷积层，然后是一个展平层后边跟着一个输出大小为100的全连接层。
网络具体描述见下表：

学习（训练）过程

全局监督训练：首先利用来自源域的标注数据采用全局监督的方法训练了一个特征提取器（FE）。训练结束后移除全局分类器然后固定特征提取器以供后续使用。
特征空间中的情景训练：紧接着训练度量嵌入模块采用情景训练方式，首先从源域中随机采样了一系列故障诊断任务（support:N-way-Kshot,query:M），然后从数据集中提取特征，提取的基本特征由度量嵌入模块进一步处理为度量特征，最后，通过将查询样本的度量特征与支持集特征相匹配，对查询样本进行分类。匹配过程遵循匹配网络思想。另一种可选择的方法为原型网络，在本文中两种版本均被实施并进行了比较。