通过深度学习偏微分方程模型估计剩余使用寿命：使用潜变量的 退化的动力学解释框架/PINN 在发动机寿命预测的应用 文献总结和内容概要

一、引言

  发动机的PHM就是基于传感器数据来研究和预测发动机的健康状态，只要任务是做RUL预测。目前有三种方法：数据驱动方法、纯物理模型方法和混合方法。
  本文中的混合方法受PINN的启发，是数据驱动和数据模型方法两者的结合。
  数据驱动方法的优点：在不知道背后的物理原理时，仅根据海量数据就可以找出隐含在数据中的数据和特征，就能得到很好的RUL预测模型；缺点：缺乏可解释性
  物理模型方法的优点：高度准确可靠，可解释性强；缺点：在一个系统上学到的模型不一样适合另一个模型，即模型的普适性很差，
  DL在发动机的PHM中应用的一大问题是缺乏模型的可解释性，即用户给DL提供数据，神经网络给出一个模型结果，用户不能对该模型结果进行解释，导致的结果就是不信任神经网络给出的模型，只能通过性能指标比如回归问题中的误差；分类问题的精确率、召回率等。现在已经有一些第三方的软件或包提供特征相关性的信息，即给出特征之间的相关性，从而更加有利于做特征选择，有利于提高所得模型的质量。但它们的适用范围有限，即只专注于自然语言或图像处理的分类模型，并且所给出的特性相关性对神经网络根据输入特征训练的这个过程无关。

特征选择的重要性：机器学习模型的好坏取决于你所拥有的数据。这就是为什么数据科学家可以花费数小时对数据进行预处理和清理。他们只选择对结果模型的质量贡献最大的特征。这个过程称为“特征选择”。特征选择是选择能够使预测变量更加准确的属性，或者剔除那些不相关的、会降低模型精度和质量的属性的过程。
数据与特征相关被认为是数据预处理中特征选择阶段的一个重要步骤，尤其是当特征的数据类型是连续的。那么，什么是数据相关性呢？
数据相关性：是一种理解数据集中多个变量和属性之间关系的方法。使用相关性，你可以得到一些见解，如：
一个或多个属性依赖于另一个属性或是另一个属性的原因。
一个或多个属性与其他属性相关联。

  要做混合模型，在DL-PHM模型的基础上，有两个因素使得模型的可解释性更加困难，一是模型要引入时间变量，二是引入系统退化的物理定律与输入特征之间的显式关系。
  根据PINN的启发，本文的框架将监测数据和时间变量映射为 与系统退化相关的隐变量，再将这一项引入损失函数来训练DNN模型。训练好的模型可以作为发动机健康状态的定量和定性的估计器。也就是说，类似于给定PDE方程和初始条件来求解PDE，该框架在给定初始特征值（相当于PDE的初始条件）后给出特定时间下的RUL值。
  目前大多数的DL模型只做单一任务，很少有能够同时执行预测和诊断两个任务的框架。虽然有一些这方面的工作，但各自有很大的局限性，比如网络会很复杂，对数据的质量要求很高以及缺乏结果的可解释性。
本文的贡献：

1. 提出了混合方法，旨在缩小纯数据方法和纯物理方法在PHM应用的差异（目的）
2. 显式地将监测数据和时间与退化过程关联，并使用类似于PDE的损失函数（创新点1-解决系统物理场与模型输入之间的显式关系）
3. 由于显式使用时间，使该框架可以直接反应出数据的时间特性。（创新点2-解决将时间作为显式变量）
4. 可同时执行诊断和预测任务（成果1-可同时完成诊断和预测的任务）
5. 通过可视化潜在变量（监测数据和时间变量的映射）来解释退化，提高模型的可解释性。（成果2-增加了DL模型的可解释性）

二、物理信息神经网络PINN

  PINN是2018年Raissi等人发表在《Journal of Computational Physics》期刊上的《Physics-Informed Neural Networks: A Deep Learning Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations》即《物理信息神经网络：用于解决涉及非线性偏微分方程的正向和逆向问题的深度学习框架》，该框架可以在给定初始或边界条件下求解和发现PED。Raissi等人在文章中以Burgers方程为例，给出了3个可能的应用：

1. 在给定初始和边界条件下求解一个已知的PDE；
2. 根据来自目标空间的数据找到控制已知PDE的参数；
3. 仅根据目标空间的数据找到并求解一个未知的PDE。

  目前，将PINN应用于PHM的主要困难在于缺乏将数据与发动机退化关联起来的PDE，但从第三个应用中可以看出，无需有任何关于所研究系统的物理定律等先验知识，仅从数据本身恢复或创建一个PDE。这一点也是本文作者的灵感来源。

三、本文所提出的框架

3.1当前DL-PHM所面临的三个问题

  获得可同时产生 可解释的健康评估器和传统的预测指标的 DL-PHM模型面临的困难有以下几条：

1. 如果只是单纯的数据驱动方法，而不引入关于退化物理特性的数学模型，模型的可解释性依然是一个很大的问题；
2. DL-PHM方法一般不把数据作为输入变量，但发动机的退化一定是随时间而逐渐加剧的，因此在训练无时间输入变量的DL模型时，关于系统的退化信息很可能丢失；
3. 由于RUL预测是一个监督任务，需要为训练数据设置标签，即要设置 退化过程开始的时间点。一般有两种方式，一是故障前的固定时间，二是一个特定的性能变量超过预定的阈值。但无论哪一种方法，会有一个缺点那就是用这种标签训练的DL模型会将对应的行为的权重偏大，这样会在用新的测试数据时产生错误。

3.2 本文相应的解决方案

  针对问题一，引入潜变量，进而通过潜在空间表示来探索系统的退化物理特性，从而引入了物理定律，增强模型的可解释性；针对RUL，在惩罚函数中使用时间导数来添加有关退化率的信息；
  针对问题二，该框架将时间作为输入特征，更好地寻找模型的输入特征与退化之间的关系；
  针对第三个问题，该框架也是手动设置标签，但可以赋予所得到模型的可解释性来克服手动引入标签所带来的不确定性。

3.3 DNN框架

  上图是本文所提出的结合PDE的DNN框架。可以看到，中间浅粉色区域有3个网络，因此可以分为3个阶段来产生RUL估计。

1. 阶段一：$x-NN$：该网络的输入变量是OC（operational conditions运行条件）和时间 $t$ ，输出是潜变量 $x$ 上， $x$ 可能是多维的。该网络有5个隐藏层，每层3个神经元，输出层2个神经元（输出都是 $x$ ）。因此该网络有104个参数。网络所使用的激活函数是tanh。其中潜变量 $x$ 的维度是一个超参数，需要根据所研究的系统进行调整。
2. 阶段二：$RUL-NN$：该网络的输入变量是潜变量 $x$ 和时间 $t$ ，输出是系统的 $RUL$ 。该网络有5个隐藏层，每层10个神经元，输出层1个神经元。因此该网络有481个参数。网络所使用的激活函数是tanh。
3. 阶段三：$Dynamics-$