LSTM+Transformer王炸创新，轻松登顶顶会！！

最新推荐文章于 2025-03-12 11:48:31 发布
最新推荐文章于 2025-03-12 11:48:31 发布
阅读量1.1k 收藏 20
点赞数 24
文章标签： lstm transformer 人工智能 深度学习 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d22800/article/details/145769708
版权

LSTM（长短期记忆网络）和Transformer是两种在深度学习领域非常重要的模型，它们各自有独特的优势。将两者结合起来，可以充分发挥它们的优势，应用于多种复杂的任务中。

今天就这两种技术结合LSTM+Transformer整理出了10篇论文+开源代码，以下是精选部分论文

 更多论文料可以关注：AI科技探寻，发送：111  领取更多[论文+开源码】  

论文1

A Novel Bi-LSTM And Transformer Architecture For Generating Tabla Music

一种新颖的用于生成塔布拉鼓音乐的双向LSTM和Transformer架构

方法：

  1. 预处理：使用Python的librosa库对塔布拉鼓音乐的波形（.wav）文件进行预处理，提取特征和标签。

  2. Bi-LSTM与注意力机制：训练一个带有注意力机制的双向长短期记忆（Bi-LSTM）模型，该模型包含两个LSTM层，分别处理输入序列的正向和反向，以捕获双向依赖关系。

  3. Transformer模型：训练一个Transformer模型，该模型利用自注意力机制来处理输入序列，并通过多头注意力层、dropout层、密集层和层归一化层来生成输出序列。

  4. 损失函数与优化器：Bi-LSTM模型使用均方误差损失函数和Adam优化器，而Transformer模型使用稀疏分类交叉熵损失函数和Adam优化器进行训练。

创新点：

  1. Bi-LSTM模型：通过引入注意力机制，Bi-LSTM模型能够更好地捕捉塔布拉鼓音乐序列中的长期依赖关系，实现了4.042的损失和1.0814的平均绝对误差（MAE）。

  2. Transformer模型：尽管在塔布拉鼓音乐生成上的表现不如Bi-LSTM模型，但Transformer模型仍然能够产生具有节奏感的塔布拉鼓序列，其损失为55.9278，MAE为3.5173，显示出在处理序列数据时的潜力。

  3. 音乐生成质量：生成的塔布拉鼓音乐在新颖性和熟悉度之间达到了和谐的融合，推动了音乐创作的边界。

图片

论文2

DepGraph Towards Any Structural Pruning

DepGraph：迈向任意结构剪枝

方法：

  1. 依赖图（DepGraph）构建：提出了一种通用且全自动的方法来显式建模层之间的依赖关系，并全面分组耦合参数以进行剪枝。

  2. 分组矩阵估计：通过递归过程在DepGraph上进行传播，以找到与给定层具有互依赖关系的所有耦合层，并构建分组矩阵G。

  3. 组级剪枝：利用简单的基于范数的标准来评估参数组的重要性，并通过稀疏训练方法使参数在组级别上稀疏化，以便安全地从网络中移除这些参数组。

  4. 实验验证：在多种架构和任务上广泛评估了该方法，包括ResNe(X)t、DenseNet、MobileNet、Vision Transformer、GAT、DGCNN和LSTM，展示了与现有最先进方法相媲美的性能。

创新点：

  1. 通用剪枝方案：DepGraph是第一个能够应用于包括CNNs、RNNs、GNNs和Transformers在内的多种架构的通用剪枝方案，提高了结构剪枝在各种网络架构上的泛化能力。

  2. 性能提升：在CNN剪枝方面，该方法在CIFAR上的ResNet-56模型上实现了2.57倍的加速，同时保持了93.64%的准确率，优于未剪枝模型的93.53%准确率。在ImageNet-1k上，该算法在ResNet-50上实现了超过2倍的加速，仅损失了0.32%的性能。

  3. 跨架构适用性：该方法可以轻松转移到各种流行的网络，包括ResNe(X)t、DenseNet、VGG、MobileNet、GoogleNet和Vision Transformer，并在非图像神经网络（如LSTM用于文本分类、DGCNN用于3D点云、GAT用于图数据）上实现了8到16倍的加速，而没有显著的性能下降。

    图片

论文3

Rewiring the Transformer with Depth-Wise LSTMs

用深度LSTM重构Transformer

方法：

  1. 深度LSTM集成：提出了一种将深度LSTM与Transformer层和子层连接的方法，将堆叠Transformer层的输出视为时间序列中的步骤，并管理层内和层间的表示聚合。

  2. Transformer层归一化和前馈计算吸收：展示了如何将Transformer层归一化和前馈子层计算吸收进深度LSTM中，同时通过深度LSTM连接纯Transformer注意力层，取代残差连接。

  3. 实验验证：通过6层Transformer在WMT 14英德/法任务和OPUS-100多语言NMT任务上的实验，展示了深度LSTM在BLEU分数上的显著提升。此外，深度Transformer实验也证明了深度LSTM在深度Transformer的收敛性和性能上的有效性。

创新点：

  1. 性能提升：6层Transformer使用深度LSTM在WMT任务和OPUS-100多语言NMT任务上带来了显著的BLEU分数提升。例如，在WMT 14英德任务中，Transformer Base的BLEU分数从27.55提升到28.53；在英法任务中，从39.54提升到40.10。

  2. 深度Transformer的收敛性：深度LSTM能够支持高达24层的深度Transformer的收敛，而12层使用深度LSTM的Transformer已经达到了24层普通Transformer的性能水平，表明深度LSTM在参数使用上比基线方法更高效。

图片

论文4

SwinLSTM: Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM

SwinLSTM：使用Swin Transformer和LSTM提高时空预测精度

方法：

  1. SwinLSTM单元提出：提出了一种新的循环单元SwinLSTM，它整合了Swin Transformer块和简化的LSTM，扩展了ConvLSTM，用自注意力机制替换了卷积结构。

  2. 网络架构构建：构建了一个以SwinLSTM单元为核心的网络，用于时空预测任务。该网络首先将输入图像分割成图像块序列，然后通过补丁嵌入层，接着SwinLSTM层接收转换后的图像块或前一层的隐藏状态，以及前一时间步的单元和隐藏状态，以提取时空表示。最后，重建层解码时空表示以生成下一帧。

  3. 训练流程：介绍了SwinLSTM-B的训练流程，包括Warm-up阶段和预测阶段，通过连接这两个阶段的输出来计算损失。

创新点：

  1. 性能提升：SwinLSTM在Moving MNIST、Human3.6m、TaxiBJ和KTH数据集上的表现超过了现有的最先进方法。例如，在Moving MNIST数据集上，与ConvLSTM相比，SwinLSTM将MSE从103.3降低到17.7，SSIM从0.707提高到0.962。

  2. 全局空间依赖性学习：通过引入Swin Transformer块，SwinLSTM能够学习全局空间依赖性，这对于模型捕捉时空依赖性更为有利，从而提高了预测精度。

图片

 

 更多论文料可以关注：AI科技探寻，发送：111  领取更多[论文+开源码】  

使用LSTM和Transformer模型进行时间序列数据的预测
YOLOv3333的博客
09-18 1738
然后，我们编译并训练模型，最后在测试集上进行预测，并计算预测结果的均方根误差（RMSE）作为评估指标。然后，我们构建了一个包含两个LSTM层和一个全连接层的LSTM模型，并使用均方误差作为损失函数进行编译和训练。通过适当的数据预处理和模型构建，我们可以利用这些模型来学习时间序列数据中的模式，并进行未来值的预测。在时间序列预测中，我们可以使用LSTM来学习数据中的时间模式，并根据过去的观测值预测未来的值。假设我们要预测股票价格，我们可以收集过去几天的股票价格作为输入序列，然后将下一天的股票价格作为目标值。
基于BiLSTM+Transformer混合模型实现交通流量时序预测(PyTorch版)
时序笔记
09-26 3011
本文旨在探讨一种基于BiLSTM（双向长短期记忆网络）与Transformer混合模型的时间序列预测方法，专门用于交通流量的预测。BiLSTM模型以其能够捕捉序列数据中前后依赖关系的能力而闻名，尤其适合处理具有时间序列特性的数据。而Transformer模型，自2017年由Vaswani等人提出以来，凭借其自注意力机制（self-attention）和并行计算能力，在自然语言处理等多个领域取得了突破性进展。将这两种模型结合起来，旨在充分利用BiLSTM对时间序列局部依赖性的建模能力以及Transformer
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5854
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
融合LSTM与Transformer做时间序列预测，发高分轻轻松松！
学姐带你玩AI的博客
03-06 1444
不仅巧妙融合了二者的优势，还构建了一个强大而灵活的预测框架，为我们处理复杂时间序列数据提供了更牛x的工具。这方向如今是深度学习领域的热门研究主题，前景非常可观，在工业物联网(如设备故障预警)、智慧城市(如交通流量预测)、生物医学、环境科学(如气象预测)等领域都有广泛应用。相关成果频繁发表于顶会顶刊，尤其是跨学科相关的。如果想做创新，建议聚焦，并结合实际工业需求设计实验(如大时滞、多变量场景)。本文整理了，需要参考的自取~全部论文+开源代码需要的同学看文末。
厉害了，LSTM+Transformer王炸创新，精准度又高了！
m0_59235945的博客
08-23 3453
（LSTM）的时序建模能力与Transformer的强大上下文表示能力相结合，显著提升了模型在处理复杂时序数据和自然语言处理任务中的表现。技术在文本生成、机器翻译和时间序列预测等多个领域展示了其潜力和有效性，其创新的方法和良好的表现使其成为研究的热点之一。为了帮助大家全面掌握的方法并寻找创新点，本文总结了的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。
1+1＞2 LSTM与Transformer强强联合
2401_88556812的博客
01-20 703
深度LSTM（Depth-WiseLSTM）：提出了一种新的Transformer架构，使用深度LSTM连接级联的Transformer层和子层，将Transformer层的输出视为时间序列的步骤，并管理层内和层间的表示聚合。深度Transformer的收敛性：深度LSTM能够支持多达24层的深度Transformer的收敛，且12层使用深度LSTM的Transformer性能已与24层普通Transformer相当，表明了更高效的每层参数使用。
LSTM + Transformer 结合，模型性能效果炸裂
m0_73122726的博客
07-15 2574
近年来，这一混合模型在多任务实时预测中表现尤为突出，比如登上Nature子刊的最新混合架构LSTM-Transformer，即使数据保留率为50％，模型性能依然最优！ 本文总结了最近两年【LSTM结合Transformer】相关的15篇前沿研究成果，这些论文都整理好了，希望能给各位的学术研究提供一些启发！
综合LSTM、transformer优势，DeepMind强化学习智能体提高数据效率
机器学习社区
09-11 636
选自arXiv作者：Andrea Banino等机器之心编译编辑：陈萍、杜伟来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。近些年，多智能体强化学习取得了突破性进展，例如 DeepMind 开发的 AlphaStar 在星际争霸 II 中击败了职业星际玩家，超过了 99.8% 的人类
LSTM+transformer+稀疏注意力机制(ASSA)时间序列预测(pytorch框架)
lxh1244607107的博客
09-03 3620
transformer,LSTM,ASSA注意力首发原创！纯个人手打代码，自己研究的创新点，超级新。可以发刊，先发先的，高精度代码。需知：好的创新性模型可以事半功倍。目前太多流水paper，都是旧模型，老师已经审美疲劳，很难发好一点的刊，这种模型很新，让paper审核老师眼睛一亮，老师就会觉得你有水平，关注顶会前沿热点，非常好中稿。上限下限都非常高，适合高等级的同学（继续优化）和没有经验的小白（直接用就行了）。python代码，pytorch架构。
LSTM+Transformer模型交通流量预测（Python代码，GRU/LSTM/CNN_LSTM作为对比模型
前程算法屋的博客
07-13 1834
LSTM+Transformer模型交通流量预测（Python代码，GRU/LSTM/CNN_LSTM作为对比模型
LSTM+Transformer时间序列预测（Pytorch完整源码和数据）
11-14
LSTM+Transformer时间序列预测（Pytorch完整源码和数据），可以做风电预测，光伏预测，寿命预测，浓度预测等。 Python代码，基于Pytorch编写 1.多特征输入单变量输出预测。 2.可用作风电预测，光伏预测等。 3.代码...
结合创新！LSTM+Transformer新成果登Nature，精度高达95.65%
热门推荐
学姐带你玩AI的博客
04-26 1万+
LSTM通过门控机制有效捕捉序列中的长期依赖关系，防止梯度消失或爆炸，在处理具有长期依赖性的时间序列数据时有显著优势。而Transformer通过自注意力和多头注意力机制全面捕捉序列依赖，能够同时考虑输入序列中的所有位置，更好地理解上下文关系，实现高效的并行计算。这种策略结合了两者的优势，在各种序列分析任务中实现了更精确的预测、更好的性能表现、更高的训练效率。比如登上Nature子刊的最新混合架构，以及精度高达95.65%的BiLSTM-Transformer。本文整理了。
基于Lstm+transformer的刀具磨损预测实战
10-05 2293
基于Lstm+transformer的刀具磨损预测实战
融合LSTM与Transformer做时间序列预测，发高分轻轻松松！收藏这一篇就够了！！
最新发布
bugyinyin的博客
03-12 908
LSTM结合Transformer，在时间序列预测上效果拔群！ 不仅巧妙融合了二者的优势，还构建了一个强大而灵活的预测框架，为我们处理复杂时间序列数据提供了更牛x的工具。
LSTM持续发力！与Transformer结合，一举拿下Nature！
2401_88190197的博客
11-27 919
目前，其在CV、NLP、时间序列等领域，都取得了令人瞩目的成果。比如模型LTARM，直接登顶Nature子刊，在多任务预测中，性能和计算效率都远超SOTA；ICCV上的SwinLSTM模型，则误差狂降584％倍……主要在于，这种结合，既能处理长期依赖，又能并行处理整个序列，大大提高了计算效率。同时，LSTM与Transformer的互补性，也使得混合模型在处理长序列和短序列时都能取得更好的效果，具有更好的泛化能力和鲁棒性。为了让伙伴们能够掌握这种结合的精髓，落地到自己的顶会中，13种。
RNN&LSTM&Transformer&CNN
weixin_45928096的博客
03-22 4126
对于图片分类，输入的每张图往往都是独立的，前后无关，这时CNN就够了。 但是对于很多语言类的问题，输入的语境和语序都是很重要的此时要用到RNN，RNN考虑了时序的变化，让神经网络有了某种记忆的能力。 即普通RNN无法回忆起久远记忆的原因：梯度消失或者梯度爆炸，所以提出了LSTM，实质是：过滤重要特征 忽略无关信息 可以形象地理解为LSTM加了一个日记本。多出了三个控制器：输入、输出、忘记 在Transformer中，编码器&解码器架构表现得最好。transformer的优点是对大数据适配能力强
牛了，LSTM+Transformer王炸结合创新，荣登Nature，精度高达95.65%
06-25 2166
模型处理序列数据的能力以及LSTM在捕捉时间序列依赖性方面的优势。- 高准确率：在IEEE-14总线系统上进行的测试显示，XTM模型在检测FDI攻击及其位置方面，相比文献中提到的其他深度学习方法，展现出了更高的性能。- 在IEEE-14总线系统中，考虑了电力系统的时序特性，使用小时和分钟级的传感器数据来训练和评估所提出的模型，实现了接近100%的检测准确率。- 数据集和攻击向量的公开：论文提供了详细的数据集和攻击向量描述，并将它们公开在GitHub上，促进了研究社区的进一步研究和模型验证。
lstm transformer
09-06
LSTM Transformer是一种融合了LSTM（长短期记忆）和Transformer模型的混合模型。LSTM是一种循环神经网络（RNN）的变种，用于处理序列数据，能够捕捉长期依赖关系。而Transformer是一种基于注意力机制的模型，被广泛应用于自然语言处理任务。 LSTM Transformer结合了LSTM的序列建模能力和Transformer的并行计算能力，以提高模型在处理序列数据时的性能。它使用LSTM层来建模序列中的时序信息，并使用Transformer编码器来进行并行计算和特征提取。 通过将LSTM层与Transformer编码器结合起来，LSTM Transformer能够更好地捕捉序列中的长期依赖关系，并且具有较高的计算效率。这使得它在自然语言处理任务中表现出色，如机器翻译、文本生成等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值