Few-shot transfer learning for intelligent fault diagnosis of machine（机器智能故障诊断中的小样本迁移学习）

Few-shot transfer learning for intelligent fault diagnosis of machine

机器智能故障诊断中的小样本迁移学习

旋转机械大数据智能诊断已经得到了广泛的研究，但由于工况的变化性和故障样本的稀缺性，现有的诊断模型与实际应用还存在一定的差距。为了解决这一问题，本文中小样本迁移学习利用元学习 link方法构造了多变条件下的小样本诊断。考虑旋转机械智能诊断的两种迁移情况，即条件迁移和人工自然迁移，构造了七种基于统一的1D卷积网络的小样本迁移学习方法，用于三个数据集的小样本诊断。提供了不同样本容量和迁移情况下的基线精度，以便进行全面比较和指导。此外，还详细讨论了几种方法在小样本场景下的数据依赖性、可转移性和任务可塑性，数据分析结果表明，元学习在相对简单的迁移任务中，在小样本的情况下，对机器故障诊断具有优势。

相关背景

各种基于稀疏分解、流形学习和最小熵反卷积等传统的信号处理方法被引入到从振动信号中提取故障注意特征和诊断故障模式中。近年来得益于深度学习强大的特征提取能力，智能故障诊断的方法完全超越了传统的信号处理方法，如：支持向量机（SVM），深度玻尔兹曼机（DBM），卷积神经网络（CNN），自动编码器(AE)，循环神经网络（RNN），生成对抗网络（GAN）被运用到了智能诊断领域。
但由于深度学习的数据贪婪性，在故障诊断这一类的小样本领域其面临着巨大的挑战。
根据故障诊断的应用背景和研究现状，在不同工作条件之间的迁移（条件迁移）和人工模拟故障和自然故障之间的迁移（人工自然迁移）是两个主要的迁移场景能够有效的解决样本不充足的问题。
为了解决不同工况条件下训练样本少的问题，开发一种小样本学习的策略，实现知识能够迁移到一种或多种条件下就成为了现实要求。

主要贡献

（1） 设计了一种基于一维卷积网络的统一小样本迁移学习框架用于机器学习中两种典型的迁移情况：工作条件迁移和人工自然迁移
（2） 对设计的特征转移方法、基于微调的方法和基于元学习的方法进行了比较分析，以提供不同样本容量和转移情况下的基线精度。
（3） 讨论了数据依赖性、可转移性和任务可塑性分析，以便在不同的转移任务下进行合理的方法选择，并为进一步的研究提供指导。

小样本学习

小样本学习目前可大致分为三个方向：数据增强，数据、模型迁移学习和元学习。
数据增强是在训练过程中的一种简单方法，它不依赖额外数据集。近年来生成对抗网络得益于它优越的表现被广泛的运用于数据增强。然而基于深度学习的数据增强策略在数据极度稀缺时将会遇到麻烦。
从相关数据学习然后迁移到目标域是解决小样本任务最直观的策略。典型的方法包括特征迁移的方法和基于微调的方法。对于特征迁移方法，模型可以在相关数据集上进行预训练，然后再目标数据集上进行微调。迁移学习的目标是将从源于学习到的知识迁移到目标域。由于源域和目标域的数据分布不同，因此迁移学习关注校准两个不同域之间的分布。迁移学习方法可以分为四类：基于实例，基于特征表示，基于参数和基于关系知识。
基于元学习方法的核心是“学会学习”。元学习通过模仿人类的学习过程，试图提高网络对更高层次任务的学习能力，而不是单纯的分类任务。

小样本迁移学习框架

首先对数据进行预处理，太长的数据输入，会导致神经网络的参数规模也随之增加，太短的数据输入又会导致低频分辨率低不利于故障的识别。综合权衡后输入数据长度为1024。其次，频域信号相比时域信号对故障更敏感，因此对输入信号进行FFT转换为频域信号。
设计了一个统一的一维卷积网络，其包括一个特征编码器网络 和一个分类器网络 。具体结构见下图：

图a为特征编码器，它由4个一维卷积块和一个自适应最大池化层构成，与图像处理过程中为了能够提取到图像的边缘信息使用小卷积核不同，为了能够提取到振动信号中丰富的浅层信息表示使用大小为10的宽卷积核，使用过小的卷积核会导致有用信息的丢失。
图b为分类器网络，它由一个简单的全连接层和一个softmax激活函数构成。
一维卷积元学习网络修改自关系网络由一个特征编码器 （见图a）和一个由两个卷积块和两个全连接层构成的度量学习器 （见图c）构成。如下图所示，支持集和查询集的实例都被输入到特征编码器，并被投射到统一的特征空间。

从两个分支提取到的特征将会被连接成关系特征，并输入到度量学习器中。最后，可以计算双分支中实例之间的相似分数，并将查询实例归类为相似分数最大的类别。

模型训练（情景训练策略Episodic Training）

元关系网络情景训练策略的学习过程如下图所示：

通过上图可以发现整个学习过程由数据准备、元学习阶段和迁移阶段构成。在准备阶段，根据不同任务的需求，设置超参数，组织源域和目标域中的数据；在元学习阶段，在源域中采用情景训练策略训练了特征编码器和度量学习器；在迁移阶段，查询及和N-way K-shot的支持集被一起输入到学习网络以验证该方法的准确性。
损失函数：最小均方误差(MSE)
优化器：Adam
该方法的伪代码如下：

数据集

本文用到了三个数据集,分别为：PU轴承故障数据集，SQI齿轮故障数据集，前鹏齿轮故障数据集。
PU轴承故障数据集：整个数据集包含32个6203型轴承，其中12个为人为破坏的轴承，14个通过加速寿命试验的自然故障轴承和6个健康轴承。所有的轴承在下表所示的4种不同工作条件下进行测试：

根据损坏的长度故障严重性被分成了2个级别，小于2mm的为1级，大于2mm的为2级。

其它

关于实验过程和结果就不再论述，相关实验代码可访问此链接：https://github.com/a1018680161/Few-shot-Transfer-Learning