知识转移策略的跨域故障诊断

背景

数据驱动诊断方法的常用验证方式为通过将一个数据集分为训练集和测试集来保证这两个先决条件。但是，在实际的诊断场景中，这种验证方式是不切实际的，由于以下两个问题，很难满足前提条件：
1. 通常，在建立诊断模型之前很难甚至不可能获得与测试数据集具有相同分布的训练数据集，因为这意味着我们需要在同一台机器甚至相同的工作条件下收集每个故障类别的数据。
2. 对于使用中的机器，很难获得稀有的带标签的故障数据，因为在故障情况下可能不允许其连续工作。

这两个障碍使得基于传统机器学习和深度学习的诊断方法无法应用于工程故障诊断。
首先，由于相同的工作原理和从中生成这些数据的机器的相似故障机制，应该在来自多个来源的这些数据中包含相似的故障特征。第二，数据驱动的故障诊断（称为智能故障诊断）旨在模仿使用机器学习技术的诊断人员，而诊断人员可以通过扩展从其他相同类型的机器中学到的知识（不仅是从他们感兴趣的机器中学到的知识）来诊断故障。 也就是说，**在建立诊断模型时，可以利用相关数据集中的知识。**但是，当存在分布差异时，常规的机器学习和深度学习技术都无法直接使用。为了充分利用先前的多源数据，跨域故障诊断是一项新的尝试，它有可能克服当前数据驱动型故障诊断中的障碍。

（1）首次根据研究动机，跨领域策略和应用对象，对跨域故障诊断的研究工作进行了系统介绍。（2）在这篇综述中，包括了所有传统的转移方法，深度转移方法和基于对抗的转移方法，同时还总结了一些没有转移的跨域诊断方法。（3）我们对开源数据集进行了全面总结，以方便读者开始研究跨域故障诊断。（4）讨论了跨域故障诊断的几个未来研究方向。

转移学习概述

转移学习旨在解决两个或多个领域之间的学习问题。定义1所定义的域D是对相应主题或系统的特征的数学描述，例如图像分类中的图像特征、轴承和齿轮故障诊断中的振动信号特征。特征空间X通过D个特征描述被试的特征，P（X）描述被试所考虑问题的具体分布状态。与域D相对应的任务T，如定义2所示，定义了学习目标，即Y和X之间的映射关系。

在统计学习理论框架下的传统机器学习算法遵循一个基本假设，即训练数据和测试数据是从同一分布中提取的。如果不成立该假设，则这些方法的泛化性能可能会急剧下降。不幸的是，数据集之间的分布差异是现实应用中的普遍现象。例如，**在故障诊断中，不同的工作条件，负载，传感器的位置以及机器尺寸等可能导致振动信号发散，并导致特征空间中的分布差异。**在视觉识别中，不同的环境，光线，背景，分辨率和视角是可能影响图像数据分布的潜在因素[18]，[19]。通常，为了保证传统学习方法在新的但相似的任务中的性能，目标任务下需要大量标记样本以重新训练相应的模型。但是，为任何新任务标记大量目标样品是费力的，并且对于实际应用而言是不现实的。同时，传统的机器学习方法在受到来自不同于测试条件的不同条件的数据训练时往往会崩溃。因此，开发能够利用来自其他相关数据集的知识（具有足够标记的样本但分布不同）来构造针对当前任务的健壮模型的学习算法是一个重要且引人注目的问题。通常，对来自源域的样本进行完全标记，但是目标域中的样本可能会在特定问题设置中可能未标记或部分标记
转移学习旨在利用来自一个或多个相关数据集（称为源域）的知识来提高模型在当前数据集中（目标域）的性能。它的灵感来自于人类的能力，这些能力重用了先前任务中的知识，而无需从头开始学习新任务。在图中说明并比较了迁移学习和传统机器学习的学习过程

转移学习方法

在计算机视觉和自然语言理解等领域，转移学习已成为近年来广泛讨论的话题。在[17] – [18] [19] [20] [21] [22]中可以参考有关转移学习和领域适应的一些评论。通常，转移学习方法根据“转移内容”的标准分为几类[17]。此外，由于强大的表示学习和端到端的培训能力，基于深度学习和基于对抗的传输方法最近得到了逐步研究[19]。因此，简要介绍以下几种转移策略，以帮助读者理解转移学习。
1）实例重新加权方法
实例重加权方法可用于解决域偏移问题，在该域偏移问题中，将估计的权重合并到损失函数中，以使加权的训练分布近似于测试分布。实际上，迁移学习的目标是学习一个函数ft（⋅）来预测目标域中测试样本的类标签。一般来说，ft（⋅）的最优参数θ*


这意味着利用源域数据训练的模型可以通过估计每个训练样本的权值Pt（X）/Ps（X）推广到目标域。有许多现有的策略是为学习权重而设计的[25]-[26][27][28][29]。Dai等人提出的一种流行的方法，称为TrAdaBoost。[27]已应用于故障诊断领域。其试图在集成学习架构AdaBoost下迭代重写源域数据。在每一轮迭代过程中，都会根据目标域数据计算出的误差，对源域样本重新加权，以减少“坏”源样本的影响，同时鼓励“好”源样本为目标域做出更多贡献。基于样本重加权的域自适应方法主要针对源域和目标域之间的差异不太大的情况[19]。
2）特征转移方法
转移学习的另一个直观想法是学习一个新的特征表示空间，其中源域和目标域看起来“相似”并且可以进行比较。在这种传输方法下的潜在假设是，存在一个公共子空间或更高级别的表示形式，用于对域之间的公共特征进行编码。在领域不变特征支持的新空间中，使用来自源领域的带标签数据训练的分类器可以通用到目标领域。 使用不同的传输标准，可以将特定的传输策略归类为：（1）特征转换[30] – [31] [32]，（2）基于子空间的[33] – [34] [35]，（3）基于稀疏编码的[36]，[37]和（4）基于低秩表示的[38]，[39]。
转移成分分析（TCA），由Pan等人提出。[30]是一种典型的特征转移方法，已成功地应用于故障诊断问题。TCA的学习目标是寻找一个域不变的特征空间，在该空间中，两个域Ps（Xs）和Pt（Xt）之间的边缘分布距离最小。使用最大平均差（MMD）标准测量分布距离，如（3）[40]所示，TCA的目标函数由（4）定义


3）分类器适应方法
代替构造分类器之前学习领域不变特征空间，分类器自适应方法旨在直接设计用于转移学习任务的自适应分类器。这也是一种有效的策略，可以解决训练数据集与测试数据集之间分布不匹配的根本问题。根据参考文献，典型的分类器自适应方法可以分为：（1）基于核分类器的，（2）基于流形正则化的和（3）贝叶斯基于分类器
Yang等人提出的自适应支持向量机（A-SVM）。[41]对于视觉概念分类，是理解这种转移策略的一种直观和典型的方法。A-SVM的目的是将源域分类器fs（x）对标记源数据进行训练，使之适应于目标任务的新分类器ft（x）。这个过程是通过在fs（x）的基础上添加一个形式为Δf(x)=wTϕ(x) 的偏差项来实现的


4）基于深度学习的方法
近年来，深度学习在实现语音识别，视觉目​​标识别，药物发现甚至机械故障诊断的最先进性能方面取得了巨大的成功。作为端对端系统，深度神经网络通过多个处理层来学习具有多个抽象级别的原始数据的表示形式。基于深度神经网络的转移学习方法旨在通过将领域自适应嵌入到深度学习的管道中来学习更多可转移的表示。
基于深度学习的传输方法可以分为两类：（1）参数传输（2）表示自适应。
参数传递是在各种应用程序中跨域方案下训练深度模型的常用策略。参数传递的直观思想是使用少量目标数据来微调预训练的深度神经网络（用于源域的模型）。通常，在具有大量标记数据的源域上训练预训练的深度神经网络。
表示适应的想法是将表示适应的目标嵌入到深度学习的过程中。通常，为了学习对故障和域不变性都具有判别力的表示形式，在深度神经网络的目标函数中添加了一个权衡项，该权衡项惩罚了域之间的表示分布差异。 使用域不变表示，可以提高深度模型在目标域上的泛化性能。
Long 等人 提出了深度适应网络（DAN）架构。DAN基于CNN，其总体架构如图4所示。在（8）定义的DAN目标函数中，在CNN风险中加入一个基于多核MMD（MK-MMD）的自适应正则化项，在最后三个完全连通层（l1→l3）的隐式表示下，逼近源域和目标域的分布。最后，DAN增强了CNN任务特定层特征的可移植性。

其中第一项是CNN的分类成本，第二项是MK-MMD适应项。na表示源域和目标域的标记样本数。λ> 0是MK-MMD项的惩罚参数。