【transformer】航空发动机寿命预测

论文名称:Reamining useful life estimation via transformer encoder enhanced by a gated convolutional unit
作者:Yu Mo Qianhui Wu Xiu Li Biqing Huang
论文被引用:2021/1/18

摘要:
剩余使用寿命(RUL)估算是工业设备和系统预后与健康管理(PHM)的一项基础性工作。基于深度神经体系结构在序列学习方面的巨大成功，本文提出了一种新的RUL估计方法。具体来说，我们将Transformer编码器作为模型的骨干，以捕获时间序列中的短期和长期依赖关系。与基于卷积神经网络的方法相比，该方法不受所有时间步长的完整内核大小的限制。与基于递归神经网络的方法相比，我们建立了基于点积自注意的模型，使其能够充分利用并行计算。此外，我们进一步提出了一个门控卷积单元，以促进模型在每个时间步中合并局部上下文的能力，因为Transformer编码器中使用的注意机制使输出高级特征对局部上下文不敏感。我们在C-MAPSS数据集上进行了实验，结果表明，我们的模型性能优于或可与现有的其他方法相媲美。我们还进行了消融研究，并证明了在提出的模型中使用的每个组件的必要性和有效性。
问题一:递归神经网络的缺点
1.处理速度缓慢，必须按顺序处理数据
2.无法处理长序列问题
3.只捕捉到一个单词和它之前的单词之间的关系，单词的含义取决于它们之前和之后的单词
LSTM
解决的问题
1.解决梯度消失问题，可以处理更大的文本序列
存在的问题
1.处理速度更加缓慢
2.仍然无法充分利用并行计算，依赖于串行计算
Transformer:
解决的问题:
1.可以并行计算，从而可以将顺序深度学习模型的速度和容量扩展到前所未有的速度
2.引入了“注意力机制",可以在正向和反向的非常长的文本序列中跟踪单词之间的关系
编码器的作用:由一个编码器模块组成，该模块将来自源语言的输入字符串压缩为一个向量，该向量表示单词及其相互之间的关系。解码器模块将编码向量转换为目标语言的文本字符串。