LSTM + Transformer 结合，模型性能效果炸裂

深度学习领域的探索不断推动着模型性能的提升与创新。

【LSTM结合Transformer】不仅整合了长期依赖关系的捕捉优势，还利用了Transformer在并行计算上的高效能力，显著改善了时间序列数据处理的效率与准确性。

近年来，这一混合模型在多任务实时预测中表现尤为突出，比如登上Nature子刊的最新混合架构LSTM-Transformer，即使数据保留率为50％，模型性能依然最优！

本文总结了最近两年【LSTM结合Transformer】相关的15篇前沿研究成果，这些论文都整理好了，希望能给各位的学术研究提供一些启发！

需要的同学添加公众号【沃的顶会】 回复 LSTM15 即可全部领取

1

Advanced  hybrid LSTM-transformer architecture for real-time multi-task prediction in engineering systems

方法：

论文提出了一种新颖的LSTM-Transformer混合架构，专门用于多任务实时预测。该模型结合了LSTM和Transformer架构的核心优势，通过在线学习和知识蒸馏技术，动态适应可变的操作条件并持续吸收新的现场数据。