Recurrent Neural Networks for Remaining Useful Life Estimation翻译

水平有限，翻译不准请谅解！！

Recurrent Neural Networks for Remaining

Abstract

本文提出了一种解决IEEE 2008预后与健康管理会议挑战性问题的方法和解决方案。该解决方案利用先进的递归神经网络架构来估计系统的剩余使用寿命。递归神经网络通过时间梯度计算，扩展卡尔曼滤波器训练方法和演化算法进行反向传播训练，以生成精确而紧凑的算法。该解决方案在比赛中排名第二，在第一名和第二名之间的差距很小。

INTRODUCTION

本文描述了一种数据驱动算法的开发，该算法可预测复杂系统从未知初始状态降级为故障时的剩余使用寿命（RUL）。作为IEEE 2008 PHM会议挑战性问题的一部分，提供了超过200个多元时间序列数据集。每个数据集代表复杂系统的唯一单元，该单元具有未知的任意初始磨损和制造偏差。数据集包括三个操作设置和二十一个被噪声污染的传感器测量值。提供了“训练”和“测试”集。训练集包含一些示例，这些单元可以运行直到失效，而测试集则在失效之前的某个时间结束。测试集用于评估提交的解决方案的准确性。

此处介绍的解决方案是完全使用专有的机器学习软件开发的。没有尝试分析数据以理解或提取数据中可能已经存在的潜在特征。用于对系统建模的主要算法是定制的递归神经网络体系结构，该体系结构能够对估计的系统剩余使用寿命进行建模，同时过滤数据以最大程度地减少噪声。

DATA OVERVIEW

训练集包括来自218个不同单元的运行数据。在每个数据集中，未知系统都运行了可变数量的循环，直到出现故障为止。行程的长度各不相同，最小行程为127个循环，最大长度为356个循环。 下表总结了每次运行时间的统计信息。

图1中的图显示了训练数据中来自第一个序列的两个传感器测量值。第一个序列长213个样本。上方的图显示了前两个信号随样本索引的变化，下方的图显示了垂直轴上的信号2和水平轴上的信号1。底部图显示信号聚集在六个工作点周围，并且每个工作点周围的变化与信号幅度相比很小。顶部图显示了每次运行期间信号从工作点跳到工作点。给定数据中的这种特性，就不可能轻易观察到数据中可能与系统性能下降相关的任何趋势。该属性使机器学习可以很好地解决该问题，因为基本的物理原理将很难直接理解。

CLASSIFIER TRAINING

进行了初步调查，以确定使用可用的机器学习工具检测和建模系统降级的相对难度。更具体地说，多层感知器（MLP）神经网络能否准确地学习对好系统和坏系统之间的区别进行分类？要完成分类任务，MLP结构需要多大？在确定一个好的解决方案之前，训练算法需要执行多长时间？

这些问题的答案将提供对问题解决难度的深入了解。如果问题似乎相对难以解决，则可能需要采用更高级的数据预处理技术。

作为回答这个问题的一种方法，假设每个序列中的前30个样本代表健康单位，而每个序列中的后30个样本代表降解单位。然后将数据分为两个数据集：一个代表健康的单位，另一个代表退化的单位。

使用专有的多层感知器神经网络训练软件来训练分类器，以区分退化单元和健康单元。该软件工具利用扩展卡尔曼滤波器训练方法，该方法已被证明能够学习复杂的模型。 EKF训练方法是由Singhal和Wu [1]首次引入的，为此而使用的实现方法是基于Feldkamp和Puskorius [2]的工作。
分类器训练表明，此分类任务可以通过MLP网络轻松解决。实验表明，与两层模型相比，三层网络学习速度更快，创建的模型更紧凑并且更准确。
在运行Windows XP的Intel 2 GHz处理器上经过5秒钟的训练后，使用所有24个输入的第3层网络在第一个隐藏层中具有三个节点，在第二个隐藏层中具有两个节点，可以实现99.1％的分类精度。对整个218个序列的训练集进行了训练。
该实验证明，数据集中可用的原始输入提供了足够的信息以指示系统的运行状况，并且经过EKF训练的MLP网络非常有能力从可用数据中区分出正常运行的单元和降级的单元。

APPROACH FOR RUL LEARNING

分类器的结果既有用又有趣。但是，分类器未提供剩余使用寿命的所需估算值。对于RUL估计，一个连续的变量表示直到需要故障之前剩余的循环数。 创建了代表RUL的人工信号来训练函数估计器神经网络。 将该人工信号简单地设置为序列结束之前剩余的循环数。考虑到运行结束代表失败之前的最后一个周期，因此序列结束之前剩余的样本数量应准确代表RUL。

ML PFUNCTION ESTIMATOR

下一步是训练MLP函数估计器，以根据24个输入对运行结束之前剩余的循环数进行建模。与以前一样，使用EKF训练算法对具有两个小的隐藏层的MLP进行了训练，并产生了相当不错的精度。
图2中的图显示了三个不同序列的MLP输出（红色）与目标输出（蓝色）。图2中显示的序列是序列1，序列2和序列147。选择这些序列是因为它们代表平均长度游程，短期游程和长期游程。（注意：为了保持一致性，图2中的图都显示了0到250的垂直范围。序列147在图中似乎限制为250，但这仅仅是限制图范围的结果，目标输出实际上从320至0。）
通过检查图2所示的MLP输出，可以得出许多有趣的见解。首先，我们可以看到MLP网络能够大致了解剩余循环数。在所有情况下，输出曲线都会相对平坦地开始，然后在运行结束时逐渐向零衰减。这些初步结果令人鼓舞，表明可以得出合理的RUL估算值。
每个图似乎都显示出一致的特征。对于序列的前三分之一，MLP输出相当平坦且恒定。在序列的最后三分之一中，MLP输出几乎线性降低至零。在每个图的中间三分之一处，曲线从大致恒定的值过渡到线性递减的曲线时出现拐点。曲线的拐点显示出故障首次发生的时间。
由神经网络得知，每个序列的后半部分中曲线的斜率随运行而变化。训练目标输出的斜率是-1。序列1的斜率大约等于目标斜率。序列2的斜率比目标输出陡峭得多。最后，序列147的斜率比目标序列的斜率要大得多。
数据的最终观察表明，每个序列的初始输出在运行之间略有变化。 MLP似乎已经提高了系统的初始制造误差和初始磨损。

对训练后的网络输出的特性的观察促使系统的目标输出发生变化，从而最大目标输出被限制为所有序列的恒定值。由于系统的退化通常要等到设备运行了一段时间后才出现，并且最初的故障已经出现，所以估计RUL直到系统开始退化才可能是不合理的。当一个新产品处于全新状态并且处于非常健康的状态时，如何期望它可以预测将持续多长时间？只有在设备运行一段时间后，性能才会出现下降，并提供RUL的相对指示。由于这个原因，当系统是一个新值时，估计RUL似乎是合理的。
使用以下推理来选择恒定的初始RUL值：
•最小运行长度为127。没有示例中运行长度小于127。
•平均运行长度为209。平均而言，曲线的拐点应出现在样本编号105附近。
•先前显示的MLP结果会在每次运行开始时在140至180之间产生平均稳态输出。
根据这些观察，大约120到130个周期的初始RUL似乎是合理的。通过训练模型进行了一些实验，从而改变了最大RUL，并将结果提交给网站以评估哪个限制效果最好。用于训练的最终限制为130。
图3中的图显示了使用限制为130的RUL目标输出来训练MLP神经网络的结果。对训练数据的一些观察：
•输出似乎少了一些噪音。也许因为我们更好地表示了真实的输出，所以网络可以更好地对其建模。
•MLP稳态初始输出现在约为120。这比以前预期的初始稳态输出要少得多，因为训练输出的初始值现在要小得多。
•曲线中的膝盖变化不大，并且曲线末端附近的坡度似乎与以前大致相同。

这些结果表明，当系统接近故障时，在运行即将结束时，MLP网络在预测RUL方面相当准确。在运行的早期和中期，预测RUL的任务要困难得多，并且性能也不太好。
关于为什么MLP神经网络不适合解决此问题，有两个问题：
•数据集是一个时间序列，输入/输出映射中存在时间依赖性。 MLP网络是静态映射，仅考虑系统的当前状态。
•已知输入数据已被噪声破坏。对于任何给定的样本，输入数据中可能存在大量噪声，这些噪声会转换为输出中的明显噪声。
将时域过滤纳入建模过程是改进解决方案的明显下一步。