LSTM持续发力！与Transformer结合，一举拿下Nature！

最新推荐文章于 2025-03-12 11:48:31 发布
最新推荐文章于 2025-03-12 11:48:31 发布
阅读量903 收藏 12
点赞数 5
文章标签： lstm transformer 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_88190197/article/details/144096224
版权

LSTM+Transformer是非常热门且好发顶会的方向！

目前，其在CV、NLP、时间序列等领域，都取得了令人瞩目的成果。比如模型LTARM，直接登顶Nature子刊，在多任务预测中，性能和计算效率都远超SOTA；ICCV上的SwinLSTM模型，则误差狂降584％倍……

主要在于，这种结合，既能处理长期依赖，又能并行处理整个序列，大大提高了计算效率。同时，LSTM与Transformer的互补性，也使得混合模型在处理长序列和短序列时都能取得更好的效果，具有更好的泛化能力和鲁棒性。

为了让伙伴们能够掌握这种结合的精髓，落地到自己的顶会中，我特地给大家整理了13种前沿创新思路，还配上了开源代码！

论文原文+开源代码需要的同学看文末

论文：Multi-Channel Multi-Step Spectrum Prediction Using Transformer and Stacked Bi-LSTM
内容

该论文提出了一种基于Transformer和堆叠双向长短期记忆网络（Bi-LSTM）的多通道多步谱预测方法，名为TSB。该方法利用多头注意力机制和堆叠Bi-LSTM来构建基于编码器-解码器架构的新Transformer，以深度捕捉多通道谱数据的长期依赖性。通过在真实模拟平台上生成的数据集进行广泛实验，表明TSB算法的性能优于基线算法。

论文：FocDepthFormer: Transformer with LSTM for Depth Estimation from Focus
内容

该论文提出的FocDepthFormer是一种基于Transformer的深度估计网络，它通过整合Transformer编码器、LSTM模块和CNN解码器来处理焦点堆叠图像。该模型利用自注意力机制捕捉非局部空间特征，并使用LSTM处理不同长度的图像堆叠，从而提高对任意长度焦点堆叠的泛化能力。

论文：SwinLSTM:Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM
内容

该论文提出的SwinLSTM是一种新型的循环单元，它结合了Swin Transformer模块和简化的LSTM，用于提高时空预测任务的准确性。该模型通过自注意力机制捕捉全局空间依赖，从而更有效地捕获时空依赖关系，在多个评估指标上优于现有的ConvLSTM等方法，展现了显著的预测性能提升。

论文：Deep Analysis of Time Series Data for Smart Grid Startup Strategies: A Transformer-LSTM-PSO Model Approach
内容

该论文提出了一种基于Transformer-LSTM-PSO模型的智能电网启动策略深度分析方法。该模型结合了Transformer的自注意力机制、LSTM的时间序列建模能力和粒子群优化算法的参数调整功能，旨在更有效地捕捉电网启动方案中的复杂时间关系，通过在多个数据集上的实验，该模型在预测准确性和效率上显示出显著的改进。

 关注下方《AI科研圈圈》

回复“LMTS”获取全部论文+开源代码

码字不易，欢迎大家点赞评论收藏

融合LSTM与Transformer做时间序列预测，发高分轻轻松松！
学姐带你玩AI的博客
03-06 1428
不仅巧妙融合了二者的优势，还构建了一个强大而灵活的预测框架，为我们处理复杂时间序列数据提供了更牛x的工具。这方向如今是深度学习领域的热门研究主题，前景非常可观，在工业物联网(如设备故障预警)、智慧城市(如交通流量预测)、生物医学、环境科学(如气象预测)等领域都有广泛应用。相关成果频繁发表于顶会顶刊，尤其是跨学科相关的。如果想做创新，建议聚焦，并结合实际工业需求设计实验(如大时滞、多变量场景)。本文整理了，需要参考的自取~全部论文+开源代码需要的同学看文末。
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5837
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
Transformer和LSTM相结合--应用场景
GDHBFTGGG的博客
08-14 2522
将Transformer和LSTM相结合可以在多种自然语言处理（NLP）任务中取得显著效果，特别是在需要捕捉长短期依赖的场景中。结合的目的是利用Transformer的全局注意力机制和LSTM的短期记忆能力，实现更强大的序列建模。
LSTM + Transformer 结合，模型性能效果炸裂
m0_73122726的博客
07-15 2541
近年来，这一混合模型在多任务实时预测中表现尤为突出，比如登上Nature子刊的最新混合架构LSTM-Transformer，即使数据保留率为50％，模型性能依然最优！ 本文总结了最近两年【LSTM结合Transformer】相关的15篇前沿研究成果，这些论文都整理好了，希望能给各位的学术研究提供一些启发！
推荐模型LSTM
frank_zhaojianbo的博客
06-06 870
import os import pandas as pd import numpy as np from tqdm import tqdm from sklearn.decomposition import LatentDirichletAllocation from sklearn.metrics import accuracy_score import time import datetime from scipy.sparse import hstack from sklearn.model_se
综合LSTM、transformer优势，DeepMind强化学习智能体提高数据效率
机器学习社区
09-11 635
选自arXiv作者：Andrea Banino等机器之心编译编辑：陈萍、杜伟来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。近些年，多智能体强化学习取得了突破性进展，例如 DeepMind 开发的 AlphaStar 在星际争霸 II 中击败了职业星际玩家，超过了 99.8% 的人类
厉害了，LSTM+Transformer王炸创新，精准度又高了！
m0_59235945的博客
08-23 3424
（LSTM）的时序建模能力与Transformer的强大上下文表示能力相结合，显著提升了模型在处理复杂时序数据和自然语言处理任务中的表现。技术在文本生成、机器翻译和时间序列预测等多个领域展示了其潜力和有效性，其创新的方法和良好的表现使其成为研究的热点之一。为了帮助大家全面掌握的方法并寻找创新点，本文总结了的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。
Block Recurrent Transformer：结合了LSTM和Transformer优点的强大模型
deephub
07-08 5711
在以前的文章中，我们讨论过Transformer并不适合时间序列预测任务。为了解决这个问题Google创建了Hybrid Transformer-LSTM模型，该模型可以实现SOTA导致时间序列预测任务。但是我实际测试效果并不好，直到2022年3月Google研究团队和瑞士AI实验室IDSIA提出了一种新的架构，称为Block Recurrent Transformer [2]。从名字中就能看到，这是一个新型的Transformer模型，它利用了lstm的递归机制，在长期序列的建模任务中实现了显著改进。在介
LSTM+transformer+稀疏注意力机制(ASSA)时间序列预测(pytorch框架)
lxh1244607107的博客
09-03 3587
transformer,LSTM,ASSA注意力首发原创！纯个人手打代码，自己研究的创新点，超级新。可以发刊，先发先的，高精度代码。需知：好的创新性模型可以事半功倍。目前太多流水paper，都是旧模型，老师已经审美疲劳，很难发好一点的刊，这种模型很新，让paper审核老师眼睛一亮，老师就会觉得你有水平，关注顶会前沿热点，非常好中稿。上限下限都非常高，适合高等级的同学（继续优化）和没有经验的小白（直接用就行了）。python代码，pytorch架构。
LSTM+Transformer模型交通流量预测（Python代码，GRU/LSTM/CNN_LSTM作为对比模型
前程算法屋的博客
07-13 1816
LSTM+Transformer模型交通流量预测（Python代码，GRU/LSTM/CNN_LSTM作为对比模型
融合LSTM与Transformer做时间序列预测，发高分轻轻松松！收藏这一篇就够了！！
最新发布
bugyinyin的博客
03-12 799
LSTM结合Transformer，在时间序列预测上效果拔群！ 不仅巧妙融合了二者的优势，还构建了一个强大而灵活的预测框架，为我们处理复杂时间序列数据提供了更牛x的工具。
1+1＞2 LSTM与Transformer强强联合
2401_88556812的博客
01-20 698
深度LSTM（Depth-WiseLSTM）：提出了一种新的Transformer架构，使用深度LSTM连接级联的Transformer层和子层，将Transformer层的输出视为时间序列的步骤，并管理层内和层间的表示聚合。深度Transformer的收敛性：深度LSTM能够支持多达24层的深度Transformer的收敛，且12层使用深度LSTM的Transformer性能已与24层普通Transformer相当，表明了更高效的每层参数使用。
RNN&LSTM&Transformer&CNN
weixin_45928096的博客
03-22 4124
对于图片分类，输入的每张图往往都是独立的，前后无关，这时CNN就够了。 但是对于很多语言类的问题，输入的语境和语序都是很重要的此时要用到RNN，RNN考虑了时序的变化，让神经网络有了某种记忆的能力。 即普通RNN无法回忆起久远记忆的原因：梯度消失或者梯度爆炸，所以提出了LSTM，实质是：过滤重要特征 忽略无关信息 可以形象地理解为LSTM加了一个日记本。多出了三个控制器：输入、输出、忘记 在Transformer中，编码器&解码器架构表现得最好。transformer的优点是对大数据适配能力强
牛了，LSTM+Transformer王炸结合创新，荣登Nature，精度高达95.65%
06-25 2154
模型处理序列数据的能力以及LSTM在捕捉时间序列依赖性方面的优势。- 高准确率：在IEEE-14总线系统上进行的测试显示，XTM模型在检测FDI攻击及其位置方面，相比文献中提到的其他深度学习方法，展现出了更高的性能。- 在IEEE-14总线系统中，考虑了电力系统的时序特性，使用小时和分钟级的传感器数据来训练和评估所提出的模型，实现了接近100%的检测准确率。- 数据集和攻击向量的公开：论文提供了详细的数据集和攻击向量描述，并将它们公开在GitHub上，促进了研究社区的进一步研究和模型验证。
5 时间序列预测入门：LSTM+Transformer
qq_28611929的博客
11-28 9340
``python```- `d_model`：输入和输出的特征维度（隐藏单元数）。- `nhead`：多头注意力机制中的头数。- `dim_feedforward`：前馈神经网络中间层的维度。- `dropout`：Dropout 层的丢弃率。- `activation`：激活函数的类型，默认为 ReLU。`nn.TransformerEncoderLayer` 的输入和输出形状如下：输入形状：(序列长度, 批量大小, 特征维度) 或 (批量大小, 序列长度, 特征维度)。
创新模型LSTM+Transformer交通流量预测（Python代码，GRU/LSTM/CNN_LSTM作为对比模型，多特征输入，单标签输出，可以替换为其它时序数据集）
V_shouhou6668889的博客
12-18 519
测试集效果图（区域放大可以自己调整坐标，想放大哪部分都可以）
transformer与lstm融合模型
01-07
### Transformer与LSTM结合的混合模型 #### 架构设计 RS-LSTM-Transformer模型是一种用于改进降雨径流过程模拟的混合模型[^1]。此模型通过组合长短时记忆网络（LSTM）和变换器（Transformer），能够有效提升对于复杂时间序列数据的理解能力。 在具体架构上，通常采用两种主要方式来集成这两种技术： - **串联结构**：首先应用LSTM层处理输入的时间序列数据，从中抽取短期动态特性；接着把经过初步编码后的特征传递给后续的Transformer组件，在那里进一步探索长期依赖性和更广泛的上下文信息[^2]。 - **并联结构**：另一种策略是在同一层次同时部署独立运作但相互补充的LSTM单元组以及自注意力机制主导下的多头Attention模块。两者分别负责捕捉不同尺度上的模式变化，并最终汇总其输出以形成综合表征向量供下游任务使用。 #### 实现方法 针对上述提到的不同类型的融合方案，以下是基于MATLAB平台的一个简单实例化流程说明，展示了如何构建一个基本版次级连接式的Transformers-LSTMs框架来进行多变量时间序列预测： ```matlab % 定义超参数 inputSize = ...; % 输入维度大小 hiddenUnits_LSTM = ...; % LSTM隐藏节点数 numHeads_Transformer = ...; % 变换器头部数量 ffn_units = ...; % 前馈神经网络单位数目 dropout_rate = ...; % Dropout比率 % 创建LSTM层 lstmLayer = lstmLayer(hiddenUnits_LSTM,'InputMode','sequence'); % 添加全连接层转换尺寸以便于送入transformer fc_layer_for_transformer_input = fullyConnectedLayer(numHiddenUnits=numHeads_Transformer*inputSize); % 初始化位置编码 Positional Encoding (PE) posEncoding = createPositionalEncoding(maxLen, d_model=inputSize*numHeads_Transformer); % 设计MultiHead Attention block 和 Feed Forward Network blocks... multiheadAttnBlock = multiHeadSelfAttention(inputDim=d_model, num_heads=numHeads_Transformer); feedForwardNet = feedforwardNetwork(d_model, ffn_units=ffn_units, dropout_rate=dropout_rate); % 组装整个流水线 Pipeline assembly model = sequential(); addLayers(model,[lstmLayer fc_layer_for_transformer_input posEncoding multiheadAttnBlock feedForwardNet]); function pe = createPositionalEncoding(seq_len,d_model) angle_rads = @(i,j)(j / power(10000,(2*(floor(i/2))/d_model))); angles = arrayfun(angle_rads, repmat((1:d_model)',seq_len,1),repmat((1:seq_len),d_model,1)); sines = sin(angles(:,1:2:end)); coses = cos(angles(:,2:2:end)); pe = zeros([size(sines)]); pe(:,1:2:end) = sines; pe(:,2:2:end) = coses; end ``` 请注意这只是一个简化版本的概念验证代码片段，实际项目中可能还需要考虑更多细节优化配置选项。 #### 对比分析 当比较纯LSTM模型与加入了Transformer元素之后形成的增强型体系时，后者往往展现出以下几个方面的优势： - 更强的数据理解力：得益于自我注意机制的存在，使得新架构能够在更大范围内识别出潜在的相关性，而不仅仅局限于相邻时刻之间的关联度评估； - 提升泛化性能：由于引入了更多的抽象级别，因此即使面对未曾见过的新样本也能保持较好的适应性和鲁棒性； - 改善训练效率：尽管初期计算成本有所增加，但从长远来看，因为减少了梯度消失等问题的发生概率，所以整体收敛速度反而更快一些。 然而值得注意的是，这些好处并非无条件获得——成功的实践离不开精心的设计决策和技术选型考量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值