杀疯了！融合LSTM与Transformer做时间序列预测 ！！

今天给大家推荐一个非常好发高区的思路：融合LSTM和Transformer做时间序列预测！

其不仅能极大提升预测的准确性、稳定性，还能降低计算复杂度，尤其是处理复杂时序数据时！LSTM长于捕捉短期依赖和局部特征，而Transformer则擅长捕捉长期依赖和全局特征，当两者融合时，便能精准地挖掘到数据中的复杂模式与趋势，应对数据中的噪声干扰。

值得一提的是，该思路能够使用的场景也非常丰富，像是电力负荷预测、能源管理、自动驾驶、医疗监测……我们结合具体场景的需求和数据集，便能进行微创新。

此外，结合频域分析、图神经网络、大模型，做模型的轻量化设计等，都是很好的发文切入点！为方便大家理解和运用，我还给大家整理了10篇必读的高分论文，相信能给大家更多启发！

论文原文+开源代码需要的同学看文末

Time series prediction model using LSTM‑Transformer neural network for mine water inflow

内容：这篇文章提出了一种基于LSTM-Transformer神经网络的时间序列预测模型，用于预测矿山突水点的矿井涌水量。研究以黑龙江省宝泰龙矿的涌水量监测数据为样本，通过随机搜索和贝叶斯优化相结合的方法调整模型参数，验证了LSTM-Transformer模型在不同训练集和测试集比例下的性能。结果表明，该模型在预测矿井涌水量时具有最高的预测精度，优于单独的LSTM、CNN、Transformer模型以及CNN-LSTM混合模型。

SwinLSTM: Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM

内容：本文提出了一种名为 SwinLSTM 的新型循环单元，用于时空预测任务。SwinLSTM 结合了 Swin Transformer 和简化版的 LSTM，通过替换 ConvLSTM 中的卷积结构，采用自注意力机制来提取时空特征。实验表明，SwinLSTM 在多个数据集上均优于现有的先进方法，特别是在预测精度上显著优于 ConvLSTM。研究结果表明，学习全局空间依赖性对于模型捕捉时空依赖性具有显著优势，SwinLSTM 有望成为时空预测领域的一个强大基线模型。

Learning-based NLOS Detection and Uncertainty Prediction of GNSS Observations with Transformer-Enhanced LSTM Network

内容：本文提出了一种基于深度学习的方法，用于检测全球导航卫星系统（GNSS）观测中的非视距（NLOS）信号并预测伪距误差。该方法通过将GNSS观测建模为时空问题，结合Transformer增强的长短期记忆（LSTM）网络来提高模型性能和泛化能力。研究使用来自香港和亚琛的标记数据集进行训练和评估，并引入基于激光雷达地图的GNSS观测标记方法。实验结果表明，该方法在NLOS检测精度和召回率上优于其他模型，并能有效避免轨迹发散，提高车辆定位的可靠性。

A time series driven model for early sepsis prediction based on transformer module

内容：本文提出了一种基于Transformer模块的时间序列驱动模型，用于早期预测脓毒症。研究利用CNN-Transformer和LSTM-Transformer架构，收集患者在脓毒症诊断前4小时、8小时和12小时的时间序列数据进行分析。与传统循环神经网络相比，该模型性能显著提升，平均准确率达到0.964，精确率为0.956，召回率为0.967，F1分数为0.959。此外，通过调整时间窗口，Transformer模型在早期时间窗口（如12小时前）表现出卓越的预测能力，为早期临床诊断和干预提供了重要支持。研究还通过SHAP算法可视化特征权重分布，增强了模型的可解释性。

码字不易，欢迎大家点赞评论收藏！

关注下方《AI科研技术派》

回复【融合时序】获取完整论文

👇