基于流模型的缺失数据生成方法在剩余寿命预测中的应用

源自：自动化学报

作者：张博玮, 郑建飞, 胡昌华, 裴洪, 董青

注：若出现无法显示完全的情况，可搜索“人工智能技术与咨询”查看完整文章
 

摘 要

针对缺失数据生成模型精度低和训练速度慢的问题, 本文基于流模型框架提出了一种改进非线性独立成分估计(Nonlinear independent components estimation, NICE)的缺失时间序列生成方法. 该方法依靠流模型框架生成模型精度高、训练过程速度快的优势, 并结合粒子群优化算法(Particle swarm optimization, PSO) 优化NICE生成网络采样的退火参数, 训练学习监测数据的真实分布, 从而实现对数据缺失部分的最优填补. 为进一步拓宽所提方法的应用范围, 利用基于流模型的缺失数据生成方法得到的生成数据, 通过建立融合注意力机制的双向长短时记忆网络(Bidirectional long short-term memory with attention, Bi-LSTM-Att)的退化设备预测模型, 实现设备剩余寿命的准确预测. 最后, 通过锂电池退化数据的实例研究, 验证了该方法的有效性和潜在应用价值.

关键词

生成模型 / 流模型 / 粒子群优化 / 注意力机制 / 剩余寿命预测 

对于锂电池、轴承、航空发动机和陀螺仪等复杂关键设备, 由于受到内部应力或外界环境的影响, 其设备的健康状态会不可避免的出现退化, 最终引发设备及所在系统的失效, 甚至导致人员和财产的损失[1-2]. 为切实掌握设备的健康性能, 保障设备安全可靠运行, 预测与健康管理 (Prognostics and health management, PHM) 技术[3-4]近年来受到了广泛关注. 作为PHM技术的关键环节, 剩余寿命 (Remaining useful life, RUL) 预测旨在通过分析状态监测收集的退化数据, 来预测设备的剩余寿命. 随着先进传感、物联网技术的进步和监测工艺的发展, 当代设备复杂化、自动化以及智能化水平不断提升, 推动数据驱动的剩余寿命预测技术进入了“大数据”时代.

在工程实际中, 由于机器故障 (如测量传感器故障) 或人为因素 (如未记录) 不可避免地导致部分数据缺失[5-7]. 若利用这类不完整数据预测设备剩余寿命, 将面临难以准确描述设备退化规律的现实问题, 进而将影响设备的健康管理和维修决策.因此, 针对缺失数据统计特性的多样性随机退化设备剩余寿命预测问题得到了大量学者的关注.

随着深度神经网络在计算机视觉、密度估计、自然语言和语音识别等领域的兴起[8], 深度生成模型[9]开始应用于时间序列的生成, 其基本思路是通过捕捉时间序列的分布特征, 对时序数据进行再生成, 从而填补数据. Yoon等[10] 首次提出了一种基于生成式对抗网络 (Generative adversarial network, GAN) 框架的缺失数据输入方法获得了较好的填充效果. 张晟斐等[11]基于柯尔莫可洛夫—斯米洛夫检验 (Kolmogorov-Smirnov test, K-S test) 检验的思想, 改进卷积生成对抗网络 (Deep convolutional generative adversarial network, DCGAN), 获得了更高精度的生成结果, 但是存在生成器和判别器模式崩溃、难以训练的风险. Nazabal等[12]融合基本的变分自编码器 (Variational autoencoder, VAE) 和高斯过程, 利用变分推断在多维时间序列填充问题上得到了更理想效果. 在基于深度学习的框架下, 现有研究集中在GAN和VAE的改进和优化方面. 根据处理极大似然函数方法的不同, GAN采用网络对抗和训练交替的方式, 避免优化似然函数, 虽然生成精度高但是训练过程困难, VAE采用似然函数的变分下界代替真实的数据分布, 只能得到真实数据的近似分布. 因此, 亟需研究一种既能保证模型精度又容易训练的深度生成模型.

近年来, 为了克服模型精度和训练速度方面的局限性, 可逆网络构造似然函数的流模型 (Flow-based model, Flow) 及改进模型[13-16]被应用于图像、音频生成领域效果显著. 其中,非线性独立成分估计 (Non-linear independent component estimation, NICE) 是首个基于Flow模型的变体[13]. 针对完整的一维时序数据生成问题, Ge等[17]提出了一种基于NICE框架的生成网络来模拟配电网络的一维日常负载曲线. 相比于GAN与VAE, NICE的生成效果能够更好地捕捉日常负载曲线的时空相关性. 薛阳等[18]提出了基于NICE框架的生成网络来增强分布式光伏窃电数据曲线, 通过对比GAN与VAE的生成效果, NICE具有准确的似然估计, 生成的样本更接近真实数据曲线. 尽管NICE面向完整时序数据时表现出良好的生成效果, 但应用于缺失时序数据情形下的数据生成则鲜见报道. 因此, 如何利用NICE挖掘出缺失数据的演变规律, 以克服传统GAN和VAE所面临的模型精度较低以及训练速度过慢的难题, 是有待进一步研究的重要问题. 同时, 训练过程中如何优化NICE模型参数是影响生成效果的关键因素, 需予以重点考虑.

本文依靠NICE网络的生成优势, 提出了一种改进NICE网络的缺失数据生成方法. 该方法充分利用NICE强大的分布学习能力, 通过粒子群优化 (Particle swarm optimization, PSO) 算法, 将生成序列与真实序列之间的分布偏差融入NICE采样生成样本的退火参数中, 在提升训练速度的同时保证生成序列与真实序列的一致性. 在此基础上, 本文利用融合注意力机制的双向长短期记忆网络 (Bi-directional long short term memory with attention, Bi-LSTM-Att), 建立了设备退化趋势预测模型进行剩余寿命预测. 最后, 通过锂电池的退化数据, 对所提方法生成数据和预测数据的可靠性进行实例验证.

1.   基于PSO-NICE的数据生成

1.1   流模型

流模型的基本思路是: 复杂数据分布一定可以由一系列的转换函数映射为简单数据分布, 如果这些转换函数是可逆的并且容易求得, 那么简单分布和可逆转换函数的逆函数便构成一个深度生成模型.

具体地, 流模型假设原始数据分布为 𝑃𝑋(𝑥), 先验隐变量分布为 𝑃𝑍(𝑧) (一般为标准正态分布), 可逆转换函数为 𝑓(𝑥) ( 𝑧=𝑓(𝑥)), 生成转换函数为 𝑔(𝑥) ( 𝑔(𝑥)=𝑓−1(𝑥)), 基于概率分布密度函数的变量代换法可得:

   (1)    

其中, 𝐷是原始数据的维度, 

是可逆转换函数 𝑓(𝑥) 在 𝑥处的雅可比行列式 (Jacobian), 而更高维度的监测数据会增加 Jacobian 的计算复杂度, 导致模型拟合的负担多于求解可逆函数的反函数的过程. 因此, 流模型除了转换函数 𝑓(𝑥) 可逆易求外, 还需确保其Jacobian易于计算. 基于最大对数似然原理, 流模型的训练优化目标为:

   (2)    

当流模型训练过程结束时, 通过采样概率分布 𝑍∼𝑃𝑍(𝑧)得到随机数, 其中采样分布一般为标准正态分布, 然后通过可逆转换函数的反函数 𝑔(𝑧)=𝑓−1(𝑧)生成新的数据分布. 从生成模型的出发点来看, 流模型可以提供精确的估计, 能够生成高质量的样本.

NICE是首个基于流模型的无监督深度神经网络生成模型[13]. 其优势在于能够得到精确的对数似然估计, 易于训练, 且基于可逆操作无需单独构建生成网络, 它与训练网络共享同一套参数, 最后从标准正态分布中采样随机数来生成样本. 然而, 实际上对于训练好的NICE模型, 采样标准差并不一定是1, 因为更小的方差可以通过牺牲样本多样性增加样本真实性, 所以理想的采样标准差一般比1稍小. 最终采样的正态分布标准差, 被称为退火参数[19]. 因此, 当NICE深度生成模型处理时间序列样本时, 选择合适的退火参数是决定生成样本精度高的关键性因素.

1.2   PSO-NICE模型

为了降低NICE模型生成分布与原始分布的偏差, 利用粒子群优化 (PSO) 算法快速迭代找到退火参数全局最优解, 从而改进NICE反向生成模型.

具体地, PSO-NICE网络结构如图1所示. NICE由多个分块加性耦合层 (交错混合方式) 和一个尺度压缩层组成, 每一个分块加性耦合层模拟一个可逆变换函数 𝑓(𝑥), 通过交错混合来连接两个相邻的分块加性耦合层. 如图1所示, 按照向右箭头的方向为正向训练过程, 向左箭头的方向为反向生成过程. NICE作为一类无监督向量变换模型, 能够确保将输入数据的分布转化为标准正态分布, 在反向生成时, 从标准正态分布中采样随机数来生成样本, 采用PSO来对退火参数进行优化, 提升NICE模型的反向生成能力.

图 1  PSO-NICE网络框架图

以图1为例, 分别介绍分块加性耦合层、交错混合和尺度压缩层的结构和参数.

NICE通过分块加性耦合层来拟合可逆变换函数 𝑓(𝑥). 具体地, 将维度为 𝐷的原始数据输入样本划分为两部分 𝑥1和 𝑥2, 不失一般性, 将 𝑥的各个维度打乱后重新排列, 选取 𝑥1=𝑥1:𝑑为前 𝑑维元素组成的向量,  𝑥2=𝑥𝑑+1:𝐷为后 (𝐷−𝑑)维元素组成的向量, 并作如下变换:

   (3)    

其中,  

为分块加性耦合层生成的新向量 𝑦(1).  𝑀(𝑥1)是关于 𝑥1的任意复杂函数.

通过式 (3) 的变换, 向量 (𝑥1,𝑥2)转换为新向量

, 可求得 𝑓(𝑥)的逆函数 𝑔(𝑦(1))和雅可比矩阵 𝐽(𝑓(𝑥))分别为:

   (4)    

   (5)    

其中,  𝐼𝑑和 𝐼𝑑+1:𝐷分别表示 𝑑维单位矩阵和 (𝐷−𝑑)维单位矩阵, 根据分块矩阵的结构, 由式 (5) 可以得到 𝐽(𝑓(𝑥))是一个下三角矩阵形式, 并且对角线元素全部为1. 分块加性耦合层巧妙的设计不仅使得变换函数的逆函数易于求解, 而且它的Jacobian结果固定为1.

NICE通过交叉耦合来连接两个相邻的分块加性耦合层, 将分块加性耦合层 1 输出的两部分直接交换作为分块加性耦合层 2 的输入:

   (6)    

由式 (6) 知, 分块加性耦合层的耦合操作只作用在第二部分, 第一部分是恒等的变换. 交错混合的操作简单, 即前一个分块加性耦合层等价变换的向量可以在下一个分块加性耦合层进行非等价变换, 可使信息充分融合.

NICE中的尺度压缩层作为网络最后一层, 将尺度压缩向量 𝑠=(𝑠1,𝑠2,⋯,𝑠𝐷)与最后一个分块加性耦合层的输出向量

, 计算最后一层变换的雅克比矩阵为:

   (7)    

其中,  𝑠各元素是要训练优化的非负参数向量, 可识别维度的重要程度 (其大小决定了维度的重要程度), 起到压缩流形的作用. 代入上一节流模型的优化目标式 (2), NICE模型的训练优化目标为:

   (8)    

上述优化目标即为NICE模型训练的损失函数, 经过堆叠多个分块加性耦合层和一个尺度压缩层, 在流模型的框架下, 降低了可逆函数的反函数和Jacobian的计算复杂度, NICE完成了网络构建.

在NICE网络基础上, PSO首先初始化一群随机粒子 (随机解), 每个粒子的维度与原始样本保持一致, 退火参数初始化为1, 然后通过迭代找到最优解. 在每一次的迭代中, 粒子通过跟踪两个“极值” (个体最优值pbest, 群体最优值gbest) 实现更新. PSO的标准形式如下:

   (9)    

其中,  𝑖=1,2,⋯,𝑁,  𝑁是粒子群中粒子的总数,  𝑣𝑖是粒子的速度,  𝑟𝑎𝑛𝑑()是介于 (0,1)之间的随机数. 𝑣𝑖是粒子当前的速度,  𝑥𝑖是粒子当前的位置,  𝑐1和 𝑐2是学习因子, 一般 𝑐1=𝑐2.𝑣𝑖的最大值为 𝑣max (通常大于0), 如果 𝑣𝑖大于 𝑣max, 则 𝑣𝑖=𝑣max.

PSO的优化目标选择生成分布与原始分布的推土机 (Earth-mover, EM) 距离, 又称Wasserstein距离. EM距离相对KL散度与JS散度的优势在于平滑性更好, 即使对两个分布很远几乎无重叠的情况, 仍能反映两个分布的远近. 该优点可保证PSO迭代过程的初始阶段能够快速收敛. EM距离越小, 表明生成分布与原始分布越接近. EM距离可表示为:

   (10)    

其中,   Π(𝑃1,𝑃2)是 𝑃1和 𝑃2分布组合起来的所有可能的联合分布的集合. 对于每一种可能的联合分布 𝛾, 可从中采样 (𝑥,𝑦)∼𝛾 得到一个样本 𝑥和 𝑦, 并计算出该对样本的距离 ‖𝑥−𝑦‖, 进而可计算该联合分布 𝛾下, 样本对距离的期望值

. 在所有可能的联合分布中能够对这个期望值取到的下界即为EM距离.

综上, 在NICE反向生成过程引入PSO, 优化采样分布的退火参数, 可以充分利用流模型的可逆生成模型, 增加对生成结果的反馈, 提升网络模型的生成效果.

2.   基于Attention的Bi-LSTM的RUL预测

双向长短期记忆网络 (Bi-LSTM) 通过堆叠前向LSTM层和后向LSTM层, 来提取序列的深度特征. 与单个LSTM层相比, 能够充分利用监测数据过去与未来的潜在信息. 反映设备退化信息的长时间序列在输入Bi-LSTM网络时会通过滑动时间窗处理划分为时间步 𝑋𝑖 对应的短序列, 而不同时间步的短序列所蕴含的设备退化特征往往不同.

为了捕捉对预测结果贡献度较高的特征, 引入注意力机制 (Attention) 层,将对预测结果贡献度高的特征赋予更高的权重, 贡献度低的特征赋予较低的权重, 对Bi-LSTM的提取后的特征进行再次融合.

具体地, 融合注意力机制的双向长短期记忆网络Bi-LSTM-Att结构如图2所示,  𝑋1, 𝑋2,𝑋3,⋯,𝑋𝑛为一组输入随机退化的监测数据经过滑动时间窗处理后的短时间序列, 前向LSTM层和后向LSTM层对输入的短时间序列进行前向和后向的特征提取得到隐藏状态 𝑦𝑖=[𝑦1,𝑦2,𝑦3,⋯,𝑦𝑛], Attention层对提取的特征分配不同的权重 𝑎𝑖=[𝑎1,𝑎2,𝑎3,⋯,𝑎𝑛], 最后连接一个全连接层, 得到预测结果 𝑦. Attention层的计算过程如下:

图 2  Bi-LSTM-Att网络框架图

   (11)    

   (12)    

   (13)    

其中, tanh(⋅) 为非线性激活函数, 其范围为 (−1,1),  𝑊𝑖  和 𝑏𝑖  分别为隐藏状态 𝑦𝑖=[𝑦1,𝑦2,𝑦3,⋯,𝑦𝑛]  的权值矩阵和偏置矩阵,  𝑎𝑖  为Attention层分给不同隐藏状态的权重,  𝑦 为对所有隐藏状态加权求和后得到的综合特征.

综上, 在Bi-LSTM层后引入Attention层, 对不同的退化特征有不同的侧重, 可以充分利用每个时间步的隐藏状态, 提取有用信息, 提升网络模型的预测效果.

3.   基于PSO-NICE缺失数据生成的RUL预测

基于PSO-NICE和Bi-LSTM-Att的监测缺失数据生成和RUL预测方法流程如图3所示, 具体的步骤为:

图 3  缺失数据生成和RUL预测流程图

1) 样本各维度归一化: 为了后期深度学习模型能够高效训练、挖掘深层次特征, 需要对训练的原始数据进行必要的预处理操作, 将含有缺失数据的监测原始退化监测数据每个样本的各个维度分别线性归一化到 (0,1) 区间, 得到 PSO-NICE 模型的训练样本, 反归一化是归一化的逆操作, 归一化与反归一化公式如下:

   (14)    

其中,  𝑋max  和 𝑋min  为某个维度样本的极值 (最大值和最小值),  𝑖 为样本个数.

2) 搭建NICE网络模型: 根据样本量的大小, 配置NICE正向训练过程参数. 将归一化后的训练样本作为模型的输入, 进行深度无监督学习.

其中, NICE网络结构模型参数主要是对分块加性耦合层的处理, 包括分块加性耦合层的层数, 耦合层的数量及其每一层的神经元数量. 一般地, 以4个分块加性耦合层为基础建立模型, 耦合层一般选择全连接层. 随着输入数据分布的复杂度提高, 由于交叉耦合的处理方式, 分块加性耦合层的数量需要以偶数倍增加. 同时, 也可以加深耦合层的数量和增加每层神经元的数量来拟合复杂数据的分布.

3) 搭建PSO迭代模型: 引入一群与训练样本维度相同的粒子群, 对NICE反向生成过程模型的生成分布效果进行迭代优化, 得到NICE反向生成过程模型最优的退火参数.

其中, 粒子的维度即为样本维度, 粒子群的大小应不少于2, 初始化的位置和最大速度可以根据优化目标的经验值设置参数, 否则需要更多的迭代次数. 最后, 通过实验观察迭代效果, 优化目标趋于稳定时停止训练, 选择保证训练效果的最低迭代次数.

4) 缺失数据填补: 选择最优退火参数下正态分布的随机数, 作为NICE 反向生成过程模型的输入, 将模型生成的全部样本反归一化到原始样本的变化区间, 将与缺失数据的时间维度最接近的样本数据作为填补值, 与原始数据一起组成完整的退化时间序列样本.

5) 构建 Bi-LSTM-Att 预测模型: 将填补后的数据与历史数据再次线性归一化, 按照 Bi-LSTM 的输入格式, 进行时间滑动窗口处理, 作为 Bi-LSTM-Att 的输入. 训练调整 Bi-LSTM-Att 预测模型的结构参数和训练参数, 最后通过迭代预测得到 RUL 的预测值.

4.   实验与分析

为了验证本文提出的基于PSO改进NICE的缺失数据生成方法和基于Attention改进Bi-LSTM的RUL预测方法, 本文采用美国马里兰大学先进寿命周期工程中心 (Center for Advanced Life Cycle Engineering, Calce) 提供的CS2类型电池容量退化数据集[6], 共包含四块电池退化数据: CS2_35, CS2_36, CS2_37, CS2_38. 这四组电池容量退化的完整曲线如图4 所示.

图 4  CS2电池组容量退化轨迹

图4中, 电池容量可以有效反映电池健康状况, 实际应用中通常采用在一定充放电条件下电池容量衰减到失效阈值时所经历的充放电周期次数来描述电池的RUL, 因此选择该指标进行锂电池RUL预测. 其中, 失效阈值选择0.5 Ah. 锂离子电池的RUL指从当前时刻开始至锂离子电池容量不能维持设备正常工作所经历的充放电周期次数.

为确保对比的公正性, 本文采用文献[11] 中DCGAN-KS模型的缺失数据设置模式. 主要体现在缺失机制与缺失率两个方面, 缺失机制设定为完全随机缺失 (Missing completely at random, MCAR), 即数据的缺失概率与缺失变量以及非缺失变量均不相关[20]. 不同于MCAR, 随机缺失 (Missing at random, MAR) 指的是数据的缺失不是完全随机的, 即该类数据的缺失依赖于其他完全变量. 在实际生产过程中, 由于设备复杂和环境恶劣, 大多缺失类型属于MCAR. 不失个体差异性, 生成数据实验以CS_37电池为例. 缺失率是在CS2_37数据的前850个充放电循环基础上, 分别选择10%、30%、50% 和70% 四种模式. 本文通过调用python的random库, 选择缺失率分别为10%, 30%, 50% 和70% 的sample 函数, 用于产生生成模型的训练数据. 由CS2_37 构造的原始数据和训练数据如表1所示.

表 1  CS2_37构造的原始数据和不同缺失率下的训练数据

进一步, 根据生成数据设置预测所需的数据集模式, 将编号为CS2_35、CS2_36、CS2_38 电池的完整数据和CS2_37 截止到600 个循环周期的容量数据作为训练样本, 将CS2_37 的600 个循环周期之后的406 个循环周期作为验证样本来评估预测性能. 由CS2 电池构造 RUL 预测的训练样本和验证样本如表2所示.

表 2  CS2数据集构造RUL预测的训练样本和验证样本

根据本文第3部分所提方法步骤进行数据生成. 将训练数据归一化处理后, 依次搭建NICE网络模型和PSO迭代模型. 其中, 随着缺失率的提高, 可以适当减少 (偶数个) 分块加性耦合层的数量和降低NICE模型的训练批处理量. 粒子的维度为2 (充放电循环维度和容量维度), 粒子群大小可以设置为2, 通过多次生成实验选择保证训练效果的最低迭代次数为15. 表3给出了不同缺失率下的PSO-NICE模型参数. 其中, 第二、三、四列为NICE模型的结构参数, 第五、六列为NICE模型的训练参数, 第七、八列为 PSO 的训练参数.

表 3  不同缺失率下的PSO-NICE模型参数

图5展示了70% 缺失率下VAE模型、GAN模型、NICE模型和PSO-NICE模型的生成效果图. 通过对比不难发现, VAE和PSO-NICE模型生成数据相较于GAN和NICE模型更平滑, 而在数据分布上, NICE和PSO-NICE模型对原始数据的拟合度更高. 总体上, NICE和PSO-NICE模型两种方法都可以很好地覆盖锂电池容量整个数据的退化趋势和分布特性, 且PSO-NICE模型生成的数据更接近真实分布.

图 5  70%缺失率下不同方法的生成效果

为研究PSO算法随机性优化的效果, 图6绘制了不同缺失率下PSO迭代次数的变化.

图 6  不同缺失率下PSO迭代优化过程

从图6中可以得到, 70% 和10% 缺失率下的PSO迭代的优化目标较快稳定, 表明缺失率较小或者较大时数据的分布属性较简单, PSO的优化目标更容易收敛. 最终, 根据缺失率的大小, PSO-NICE模型生成的数据分布与原始数据的分布误差 (EM距离) 均不同程度稳定在0.02以下.

进一步, 为了与VAE、GAN及DCGAN[11]的生成效果对比, 表4通过EM距离量化不同缺失率下各方法生成样本与完整样本的误差. 由表4可见, 在不同缺失率下, 本文所提方法得到的EM距离均小于其它方法. 并且随着缺失率的增大, PSO-NICE 模型EM 距离的增幅相对较小, 表明其生成分布更接近原始分布.

表 4  不同缺失率下各方法生成样本与完整样本的EM距离

根据PSO-NICE模型生成的样本数据, 选择与缺失值的时间维度最接近的值作为填充值对缺失数据填补, 图7分别绘制不同缺失率下的填补效果.

图 7  不同缺失率下的填补效果

由图7可见, 在10% 和30% 低缺失率的情况下, PSO-NICE模型对缺失数据填补的精确性较高. 在50% 和70% 高缺失率的情况下, PSO-NICE模型对缺失数据填补的精确性较低, 某些结果与缺失数据有较大差距. 总体上, 不论缺失率高低, PSO-NICE模型的填补效果均可以保持与原始数据分布的一致性.

为验证预测效果, 将PSO-NICE模型填补后的时序数据按照表2构造样本, 并且全部时序数据要经过滑动时间窗处理. 具体地, 滑动时间窗统一设置为200, 预测步长为1. 针对现有常用预测网络 (RNN、GRU、LSTM、Bi-LSTM和Bi-LSTM-Att等), 损失函数选择均方误差 (Mean squared error, MSE), 优化器选择Adam, 调整网络结构和训练参数使各个方法达到最优, 相关结果如图5所示.

表5分别展示了RNN、GRU、LSTM、Bi-LSTM和Bi-LSTM-Att  等现有常用预测网络的参数. 需要注意地是, 每次预测实验均设置了随机种子, 固定预测结果. 训练好各类网络后, 首先在0% 缺失率 (即不缺失) 情况下, 从预测起始点迭代预测406次. 预测效果如图8所示.

表 5  现有常用预测网络的参数

图 8  0%缺失率下现有常用方法的预测效果

由图8可见, 在0% 缺失率下, 对比真实数据, RNN 网络的退化趋势差距较大, 并且预测结果滞后, GRU、LSTM 和Bi-LSTM 网络的预测退化趋势较好, 但预测结果均提前, Bi-LSTM-Att 的预测结果最接近原始数据, 且预测趋势更吻合. 预测对比实验说明 RNN 网络无法捕获长距离的信息, 而 LSTM-based 方法具有长记忆性, 能够获得比GRU更好的预测效果, 增添 Attention 层后使得整个预测网络关注影响退化趋势的部分重要数据, 增加了预测网络可解释性. 因此, 选择 Bi-LSTM-Att 网络来进行剩余寿命预测.

为研究不同缺失率下的填补效果对剩余寿命预测的影响, 以10%、30%、50% 和70% 四种缺失率为例, 图9展示了同一 Bi-LSTM-Att 网络的预测效果.

图 9  不同缺失率填补后Bi-LSTM-Att的预测效果

为了更清晰地量化预测效果, 采用均方根误差 (Root mean square error, RMSE) 和决定系数 (R-squared, R2 ) 两个指标衡量预测的准确性, 并将结果绘制于表6. RMSE是逆向指标, 该值越小越好, 而R2 是正向指标, 该值越大越好, 范围为 (0,1).计算公式如下:

表 6  不同预测方法的效果评估

   (15)    

其中, 𝑦𝑖是各个时刻的真实值, 

是各个时刻的预测值,

是各个时刻的均值.

由表6不难看出, Bi-LSTM-Att 模型的RMSE 和R2 均小于其他方法, 但是运行时间较长. 此外, 随着缺失率的增加, Bi-LSTM-Att 预测精度增大幅度较小, 再一次表明所提缺失数据生成方法能够高效捕捉时间序列的退化信息的优越性.

进一步, 考虑到样本的完全随机缺失机制, 需要讨论其对预测结果影响的稳定性分析, 检验模型的鲁棒性. 具体地, 仍然以 10%、30%、50% 和70% 四种缺失率为例, 仅仅改变真实数据的缺失位置, 再通过PSO-NICE 网络和Bi-LSTM-Att 网络进行缺失数据生成填补、剩余寿命预测任务, 重复试验, 得到预测相关效果如图10所示.

图 10  四种缺失率填补后Bi-LSTM-Att 重复预测效果

同时, 为了量化预测效果, 采用RMSE衡量预测的准确性, 相关量化结果如表7所示.

表 7  不同缺失率填补后Bi-LSTM-Att重复预测量化结果

通过对比观察图10不难看出, 四种缺失率下, Bi-LSTM-Att 模型重复实验 95% 的预测置信区间均能够很好地覆盖真实数据, 且预测均值与真实数据拟合程度较高, 表明PSO-NICE 模型对缺失数据生成的稳定性和鲁棒性较好.

5.   结论

针对缺失数据生成模型精度低和训练速度慢的问题, 提出一种基于流模型框架的缺失数据生成方法, 可以获得较好的生成效果, 最后通过锂电池实例进行验证. 工作的主要创新如下:

1) 基于流模型框架, 将一维时序缺失数据输入NICE深度生成模型, 通过无监督方式学习缺失数据背后的真实分布, 进而对缺失数据进行充分填补, 得到完整意义下的时间序列数据.

2) 基于NICE 深度生成模型, 在NICE 反向生成阶段, 通过引入PSO 算法, 迭代优化其退火参数, 将深度生成模型由无监督变成有监督, 能够更精准地学习缺失数据背后的真实分布, 提升对缺失数据填补的精度, 得到更完整意义下的时间序列数据.

本文基于流模型框架, 通过建立NICE 模型和 PSO-NICE 模型, 实现了对一维时间监测序列完全随机缺失下系统缺失数据的生成及剩余寿命预测的应用. 在未来的研究中, 将进一步考虑现场实际环境的复杂关系, 对不同缺失机制、多维度时间监测序列的缺失数据生成和 RUL 预测问题进行更深层次的探索和研究.

声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。

注：若出现无法显示完全的情况，可搜索“人工智能技术与咨询”查看完整文章