【文献笔记】《使用深度卷积神经网络预估剩余有用寿命》

基本信息

《Remaining useful life estimation in prognostics using deep convolution neural networks》；期刊：Reliability Engineering and System Safety；IF: 4.788 Q1；作者：Xiang Li

摘要

本文提出了一种基于深度卷积神经网络(DCNN)的新的数据驱动预测方法。为了使DCNN能够更好地提取特征，采用时间窗口方法进行样品制备。标准化的原始数据直接用作该网络的输入，不需要在预测和信号处理方面的专业知识，从而方便该方法的应用。为了证明该方法的有效性，在流行的C-MAPSS数据集上进行了实验。对RUL估计达到了较高的预测精度。通过与其他流行方法的比较和在同一数据集上的最先进的结果，证明了该方法的优越性。

1. 引言

作者阐述了RUL近些年主要集中在深度学习的相关研究，其中深度CNN架构可以成功地提取高级抽象特征，并根据学习的表示估计相关的RUL值。这篇文章主要方法包括：时间窗口（time window)、数据归一化(data normalization)和深度CNN结构。

2. 深度学习框架

2.1 CNN
池化可以显著的降低特征的维数、提取每个特征中最重要的局部信息

2.2 Dropout
在训练过程中，Dropout可以通过将一些隐藏神经元的激活输出设置为零，不参与训练，但在测试过程中关闭，这表明测试过程中涉及了所有隐藏的神经元。这样，就增强了网络的鲁棒性。

2.3 网络结构
首先，输入二维格式数据样本，便于卷积操作的应用。输入的尺寸为Ntw×Nft，其中𝑁𝑡𝑤表示时间序列尺寸，𝑁ft为选定特征的数量。原始特征通常是从多个传感器测量中获得。数据准备的细节详见第3.1节。接下来，在网络中堆叠4层卷积层以进行特征提取。这4层的配置与使用的FN滤波器相同，滤波器尺寸为FL×1。过滤器尺寸为3×1。然后，二维特征图被扁平，并与一个全连接的层连接，Dropout是在上一个特征图上使用的，即扁平层，以缓解过度配合。最后，在该网络的末端附加了一个神经元来进行RUL估计。所有的层都使用tanh作为激活函数，Xavier正常初始化器用于权重初始化。为了进一步提高预后性能，采用[39]的反向传播(BP)算法进行微调，更新了模型的参数，将训练误差最小到最低。采用Adam算法进行优化。模型结构如下：

3. 实验部分

3.1 实验装置
3.1.1 C-MAPSS数据集
具体数据集的介绍可以参考博客：
https://blog.csdn.net/qq_37117980/article/details/95343811

3.1.2 数据预处理
C-MAPSS数据集中的多元时间数据包含来自21个传感器的发动机单元测量值。但是，一些传感器读数数据没有变化，所以直接剔除。因此，总共21个传感器中的14个传感器测量被用作原始输入特征，其索引为2、3、4、7、8、9、11、12、13、14、15、17、20和21。

3.1.3 时间窗口处理
时间窗口方法是本篇博客重点分享部分，但其实这是一个很简单的“算法”思想。本文采用时间窗口使用多元时间信息做数据准备。让Ntw表示时间窗口的大小。在每个时间步长，收集时间窗口内所有过去的传感器数据以形成高维特征向量，并用作网络的输入。
下图显示了关于训练子数据集FD001中的单个引擎单元的时间窗口内来自14个选择的传感器的一个标准化数据样本。数据样本的形状与拟建网络的输入大小对应，在3.2.3节将进一步介绍时间窗口的作用。

3.1.4 表现指标
评分函数和RMSE，在航空领域，后预测危害更大，所以SF可以更直观的显示出后预测的危害性（右侧指数性增长）

3.1.5 预测过程
选择14个传感器数据进行归一化，使用滑动窗口生成训练、测试数据。构建深度卷积神经网络(DCNN)，并确定隐藏层数、卷积滤波器数和长度等。DCNN以标准化训练数据为输入，并将训练样本的标记RUL值作为网络的目标输出。损失函数使用RMSE，优化函数采用Adam，对于从一开始的前200个时代，快速优化的学习率是0.001。然后用0.0001的学习率进行稳定收敛。最后，将测试数据样本输入到训练后的网络中进行RUL估计，并得到预后精度。网络图如下：

3.1.6 方法比较
对RUL估计进行了不同的预测方法，包括最基本的神经网络(NN)、深度神经网络(DNN)、递归神经网络(RNN)和长短期记忆(LSTM)。

1. NN
基本神经网络又称多层感知器(MLP)，用于比较1个隐藏层的500个神经元，这在基于神经网络的方法中是一个合理的数目。采用Dropout技术可以显著提高神经网络的泛化能力，Dropout率为0.5。

2. DNN
深度神经网络有4个隐藏层。隐藏层中的神经元数量分别为500、400、300和100个。DNN与所提出的网络有着相似的深度，并提供了一个相对公平的比较，考虑到更深的架构通常很难得到有效的训练。在每个隐藏层中也使用Dropout。

3. RNN
递归神经网络包含从隐藏层或输出层到前一层的反馈连接，因此具有处理动态信息的能力。RNN是一个涉及时间序列数据的更有效的模型。我们没有使用所提出的DCNN中的卷积层来进一步提取特征，而是在RNN网络中采用5个循环层进行比较。这样，根据以下章节中将介绍的实验结果，这两种方法具有相同的深度和相似的计算负担（computational burden是这么翻译的吗）。为了具有与该方法相似的体系结构，还附加了一个全连接层。

4. LSTM
由于模型训练的反向传播过程中梯度问题的消失，传统的RNN可能无法捕获长期的依赖关系。因此，作为RNN的一种变体，长期短期记忆方法最能防止反向传播错误的[46]消失或爆炸。在LSTM中引入了门，使每个循环单元能够自适应地捕获不同时间尺度的依赖关系。为了与该网络具有相似的结构，采用5个LSTM层和1个全连层进行了比较

对于本研究中的所有比较方法，输入层和输出层与所提出的网络相同，并使用RMSE作为损失函数。反向传播用于使用Ada,m优化算法的模型参数的更新。

3.2 实验结果及性能分析
3.2.1 预测表现
FD001中测试发动机单元关于最后记录的数据点的RUL预测结果见图6。测试发动机单元按从小到大的标签进行排序，以便进行更好的观察和分析。可以看出，该方法预测的RUL值一般接近实际值。特别是在RUL值较小的区域，预后精度往往较高。这是因为当发动机单元工作接近故障时，故障特征得到增强，可以被捕捉获得更好的预测。

此外，FD001中测试发动机单元使用寿命的RUL估计如图7所示。本文介绍了100个测试发动机单元中的4个例子，其单元编号分别为21、24、34和81。可以注意到发动机单元寿命最后部分的RUL估计。这是因为，在测试数据集中，没有提供传感器测量的最后一部分，以检查预后性能。在数据集中给出了上次记录过的周期的实际RUL值，并且可以相应地获得前一个生命周期的相应RUL标签。

可以观察到，在所有4种情况下，提出的方法设法估计RUL值接近常数Rrary。之后，估计几乎随时间线性减少，直到可用的测试样本结束。具体地说，尽管在预测和实际RUL值之间存在一些明显的误差，但预测精度很高，尤其是当发动机单元接近故障时。这是具有工业价值的，因为在发动机寿命的后期对健康管理至关重要。良好评价后期发动机状态，可以提高运行可靠性和安全性，降低维护成本，提高整个系统性能。

3.2.2 其他网络比较
使用不同方法的预后表现的综合比较结果见表3和图8。在四个子数据集上使用默认的实验设置，验证了该方法的有效性。可以看出，一般提出的深度学习方法在所有情况下都取得了最好的性能。

实验结果表明，所提出的深度卷积神经网络结构非常适合于预测问题。堆叠的卷积层有助于提高网络的学习能力。RNN结构是使用循环信息流的第二结构。虽然LSTM是RNN的一个更高级的变体，但在这个案例研究中，它的性能不如RNN那么好。然而，它可以进一步优化以获得更好的结果。基本的神经网络NN和DNN也具有竞争力。这表示：采用原始特征选择、数据预处理和时间窗口应用的样本准备，可以有效地进一步提取特征。传统上，带有4个隐藏层的DNN会出现过拟合问题。在正则化技术的帮助下，本研究取得了良好的预测表现。

此外，由于子数据集的难度增加，FD002和FD004的RMSEs和分数相对较高。一方面，操作条件和故障模式数量的增加，使预测问题更加复杂。另一方面，随着发动机单元数量的增加，过度装配发生的机会很大。

3.2.3 卷积层数和时间窗口的影响
在本节中，研究了该方法中关键参数的影响，并例如使用子数据集FD001进行评估。图9显示了卷积层数对网络预测性能的影响。可以观察到，通常，更多隐藏的卷积层会导致较低的RMSE值。这表明深层架构能够比浅层捕获更有用的信息。另一方面，虽然通过更深的结构可以获得更高的预测精度，但训练过程的计算时间与隐藏层数几乎线性增加。本文指出，具有5个卷积层的网络在介质计算负担下具有较好的性能，并作为该体系结构的默认隐藏层数。

该方法的另一个重要系数是样品制备中的时间窗口大小𝑁𝑡𝑤。图10我们给出了时间窗口大小对网络性能的影响。在测试集中，测试发动机单元所记录的数据周期的长度不同，而最短的一个具体只有31个周期。为了提供对时间窗口的更全面的分析，在相应情况下删除记录周期短的测试发动机单元。

基于实验和数据集信息，使用𝑁𝑡𝑤=30作为子数据集FD001中的默认设置，并且可以相应地确定其他子数据集中的𝑁𝑡𝑤值。具体地说，由于FD002、FD003和FD004中的记录周期的最大循环数分别为21、38和19，因此𝑁𝑡𝑤=20、30和15相应地用于子数据集。

3.2.4 与相关工作之间的比较
本文中使用的C-MAPSS数据集在预后研究中非常流行，近年来已经报道了许多最先进的结果。表4总结了C-MAPSS的四个子数据集的最新研究结果。可以观察到，许多基于神经网络的方法已经在这个预后问题上显示出了它们的优点，包括LSTM、CNN、DBN等。

与最先进的结果相比，所提出的深度学习方法已经取得了良好的性能。值得指出的是，本文人为地为健康条件设置了一个RUL阈值，这对实验性能有显著的影响。文中还提供了没有阈值的预后结果。尽管RUL估计的RMSE值是增加了，但该方法的结果仍然具有竞争力。

此外，虽然在时间序列信号处理的许多任务中，通常首选采用像LSTM这样的算法，但如图8所示其计算负担相对较高且网络较深。本文方法能够实现与LSTM相同水平的预后结果，且体系结构更简单，具有较低的计算负荷。

4 结论

本文提出了一种用于预测的基于深度卷积神经网络方法。采用Dropout来缓解过拟合问题。在流行的C-MAPSS数据集上进行了实验，证明了该方法的有效性。该任务的目标是准确地估计航空发动机机组的剩余使用寿命。利用原始特征选择、数据预处理和样本处理，该方法取得了良好的预测性能，测试数据的预测与实际RUL值存在小误差。发动机机组寿命可以预测，尤其是在接近故障的后期。

与其他模型相比，本文的DCNN有很好的表现。研究了隐藏层数和时间窗大小对预测性能的影响。考虑到估计精度、训练过程的计算负担和数据集信息，FD001的样本制备采用带𝑁𝑡𝑤=30的时间窗口，该网络采用五个卷积层。

此外，还将该方法得到的预测结果与文献中同一数据集上最先进的结果进行了比较。该网络在预测精度上具有优越性，在工业应用中具有应用前景。此外，应注意，本研究使用了数据预处理方法，因为标准化数据促进了网络训练过程。然而，在现实的在线应用中，整个寿命的数据是获取不到的。一个可实现的方案是，基于对于不同发动机单元的每个传感器测量的最大和最小值彼此接近的事实，训练数据集中的每个特征的最大和最小值的平均值可以直接用于测试单元进行预处理。另一种方法是广泛应用于深度学习任务中的批处理归一化技术。在网络中的每个隐藏层上进行数据归一化，能够加快训练过程。

虽然该方法得到了良好的实验结果，但进一步的架构优化仍然是必要的，因为目前的训练时间比文献中的大多数浅层网络都要长。此外，评分函数适用于C-MAPSS数据集等预测问题，努力将分数函数纳入神经网络的损失函数。

=======================================

个人浅显体悟：

这篇文章用了比较简单的cnn算法，预处理使用了滑动窗口、归一化，即对cmapss进行了预测，一方面数据集比较简单，另一方面，文中没有很好的介绍对于FD002、FD004数据集的训练，这两个数据存在多工况且多故障的情况。或许，对于RUL来说，这体现的不是很明显，因为只要有劣化的趋势都可以做预测，但是对于故障诊断（分类）来说或许很有意义。