LSTM又火了！CNN+LSTM+Attention=刷爆SOTA

2024深度学习发论文&模型涨点之——CNN+LSTM+Attention

CNN+LSTM+Attention是一种深度学习模型，它结合了卷积神经网络（CNN）、长短期记忆网络（LSTM）和注意力机制（Attention）的优势，用于处理序列数据和时间序列预测任务。

这种模型因其强大的特征提取和序列建模能力，被广泛应用于各种时空数据的预测和分析任务，如短期负荷预测、航空发动机剩余使用寿命预测、股票价格预测和电机故障检测等。

比如在短期负荷预测（STLF）中，有研究首次采用LSTM-CNN结合的自注意力机制（SAM）模型，通过仅使用负荷数据，实现一种基于输出维度的混合预测框架，并使用卷积核来提取用户的随机性，解决非平稳特性问题。

我整理了一些CNN+LSTM+Attention【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

Attention-based CNN-LSTM and XGBoost hybrid model for stock prediction

基于注意力机制的CNN-LSTM和XGBoost混合模型用于股票预测

方法

ARIMA预处理：首先通过ARIMA模型对股票数据进行预处理，以输出更有效的状态描述序列。

Attention-based CNN-LSTM模型：采用基于注意力机制的CNN-LSTM模型作为序列到序列框架的编码器和解码器。模型首先使用卷积提取原始股票数据的深层特征，然后使用长短期记忆网络挖掘长期时间序列特征。

XGBoost微调：最后采用XGBoost模型进行微调，以充分挖掘股票市场在多个时期的信息。

创新点

混合模型结构：将ARIMA模型、卷积神经网络、注意力机制、长短期记忆网络和XGBoost回归器以非线性关系集成，提高了预测精度。

多时期信息挖掘：模型能够充分挖掘股票市场在多个时期的信息，提高了预测的准确性。

性能提升：实验结果表明，该混合模型的预测精度相对较高，能够帮助投资者或机构做出决策，实现扩大收益和避免风险的目的。

论文2：

Multi-fidelity fusion for soil classification via LSTM and multi-head self-attention CNN model

通过LSTM和多头自注意力CNN模型进行土壤分类的多保真度融合

方法

LSTM数据映射：使用LSTM机器将低保真度的锥形穿透试验（CPT）数据映射到高保真度的实验室测试（LT）数据。

多头自注意力CNN（MSCNN）：将融合后的数据输入到多头自注意力卷积神经网络（MSCNN）进行土壤分类。

损失函数：开发了一个严格的损失函数来训练LSTM-MSCNN模型，以实现端到端的工作流程。

创新点

多保真度数据融合：通过LSTM机器翻译方法将CPT数据映射到LT数据，实现了不同分辨率数据之间的自动数据融合。

自注意力机制：采用多头自注意力机制来捕获MF输入特征内不同类型依赖关系，提高了复杂模式和结构的数据表示能力。

性能提升：与传统方法相比，LSTM-MSCNN模型在真实地面剖面预测中显示出显著的改进。

论文3：

On the V2G capacity of shared electric vehicles and its forecasting through MAML‐CNN‐LSTM‐Attention algorithm

共享电动汽车的V2G容量及其通过MAML-CNN-LSTM-Attention算法的预测

方法

MAML优化：使用模型无关元学习（MAML）优化网络的初始参数，以快速适应不同功能社区旅行习惯引起的特征变化。

CNN-LSTM-Attention模型：使用两层卷积神经网络（CNN）与长短期记忆神经网络（LSTM）和注意力机制相结合，提取重要历史时刻的时空间特征。

数据集构建：基于共享汽车租赁服务数据构建共享电动汽车的可调度容量数据集。

创新点

MAML多任务学习：通过MAML算法，模型能够快速适应不同日期类型和不同功能区域的预测任务，提高了模型的泛化能力。

CNN特征提取：引入CNN来捕获特征的动态变化，降低了非线性模型的数据复杂性，从而减少了不确定性的影响。

性能提升：与之前使用的模型相比，MAML降低了平均绝对百分比误差（MAPE）1.04%，模型的稳定性和准确性得到了显著提升。

论文4：

Spatial-temporal simulation and prediction of root zone soil moisture based on Hydrus-1D and CNN-LSTM-Attention in the Yutian Oasis, Southern Xinjiang, China

基于Hydrus-1D和CNN-LSTM-Attention的中国新疆南部玉田绿洲根区土壤湿度的时空模拟和预测

方法

Hydrus-1D物理模型：使用Hydrus-1D物理模型模拟时空垂直土壤湿度的综合数据集。

CNN-LSTM-Attention模型：提出了一个CNN-LSTM-Attention（CLA）模型，用于预测根区土壤湿度（RZSM）。

多变量时间序列数据：利用气象数据和MODIS植被特征参数作为预测变量，训练和验证CLA模型。

性能评估：使用R²、RMSE、MAE和MAPE等指标评估模型在预测RZSM方面的准确性。

创新点

物理模型与深度学习结合：将Hydrus-1D物理模型与CNN-LSTM-Attention深度学习技术相结合，提供了更全面和准确的根区土壤湿度时空变化理解。

CLA模型性能提升：与传统的LSTM和CNN-LSTM模型相比，CLA模型在根区土壤湿度预测方面的性能显著提升，特别是在80-100 cm深度，R²值接近0.9298，RMSE降低了49%和57%。

多变量时间序列数据利用：利用多变量时间序列数据进行RZSM预测，揭示了多个因素与RZSM之间的非线性时空相关性。