LSTM玩出新花样！最新开源成果连超Transformer和Mamba，依然是发论文好选择

最新推荐文章于 2025-02-14 17:25:29 发布
最新推荐文章于 2025-02-14 17:25:29 发布
阅读量2.7k 收藏 28
点赞数 19
分类专栏： 深度学习干货 人工智能干货 文章标签： 深度学习 机器学习 论文 LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/141197074
版权

LSTM最近真是赚足了眼球，前有大幅领先Transformer和Mamba的xLSTM，后有视觉领域新宠Vision-LSTM，这俩都出自原作者之手，实力上演现实版“重生之夺回一切”。

自从它们火了之后，这类LSTM改进变体也成了论文界香饽饽，相关研究数目繁多，也给我们处理序列数据提供了更多选择和灵感启发。

当然，除了LSTM本身的变体，还有一个LSTM的创新思路也很热门：LSTM与其他技术结合。比如我之前写过的LSTM+Transformer、+GNN、+注意力机制、+ResNet、+CNN、

最低0.47元/天 解锁文章
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%
代码讲故事
04-27 1331
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%。
2024的新宠儿——Mamba(3):Mamba的三大创新
xzq_qzx_的博客
04-17 3220
，在语言、音频、DNA序列模态上都实现SOTA，在最受关注的语言任务上，Mamba-3B超越同等规模的Transformer，与两倍大的Transformer匹敌，并且相关代码、预训练模型checkpoint都已开源简言之，Mamba是一种状态空间模型(SSM)，建立在更现代的适用于深度学习的结构化SSM (简称S6)基础上，与经典架构RNN有相似之处。
在预测中使用LSTM架构的最新5篇论文推荐
deephub
04-24 4163
1、Integrating LSTMs and GNNs for COVID-19 Forecasting Nathan Sesti, Juan Jose Garau-Luis, Edward Crawley, Bruce Cameron 将COVID-19的传播与图神经网络（GNN）的结合，使得最近几项研究发现了可以更好地预测大流行的方式。许多这样的模型还包括长短期记忆（LSTM），这是时间序列预测的常见工具。通过在LSTM的门内实施GNN并利用空间信息来进一步研究这两种方法的集成。并且引入了跳过连接，该
厉害了，LSTM+Transformer王炸创新，精准度又高了！
m0_59235945的博客
08-23 3410
（LSTM）的时序建模能力与Transformer的强大上下文表示能力相结合，显著提升了模型在处理复杂时序数据和自然语言处理任务中的表现。技术在文本生成、机器翻译和时间序列预测等多个领域展示了其潜力和有效性，其创新的方法和良好的表现使其成为研究的热点之一。为了帮助大家全面掌握的方法并寻找创新点，本文总结了的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。
“突破性进展！多任务预测误差直降38.7%的混合模型架构深度解读“
最新发布
2501_90555291的博客
02-14 1079
在实验研究中，所提出的网络与基于深度学习的模型和经典机器学习模型进行了比较。文章提出了一个新的循环单元SwinLSTM，它结合了Swin Transformer块和简化的LSTM，用于提高时空预测任务的准确性。在不使用特殊技巧的情况下，SwinLSTM在多个数据集上超越了现有的最先进方法，特别是与ConvLSTM相比，显示出显著的预测准确性提升。1. 提出了一种结合Transformer注意力机制与LSTM的混合模型，首次将时空建模用于GNSS的NLOS检测与伪距误差预测，显著提升了模型性能和泛化能力。
论文创新大杀器！LSTM结合UNet，性能突出，涨点显著
学姐带你玩AI的博客
08-19 2241
最近，浙大等团队提出了xLSTM-UNet，通过将U-Mamba中的Mamba换成xLSTM，就可以直接提升2D和3D医学图像分割性能，涨点效果显著！xLSTM-UNet是一种的混合网络模型，这类模型保留了UNet出色的空间特征提取能力，增加了对时序信息的捕捉和处理能力，能显著提高分割的精度和准确性。因此，它被广泛应用于医学图像分割、遥感图像处理、工业检测等领域，同时也我这次整理了，给苦于创新点的同学作参考，希望各位看完后可以有些启发，更快写出论文中稿。论文原文+开源代码需要的同学看文末。
LSTM再升级！原作者携xLSTM回归，扩展LSTM到数十亿参数
强化学习曾小健
08-20 1260
xLSTM 通过引入指数门控和矩阵内存结构，显著提升了 LSTM 的存储容量和并行计算能力，为大型语言模型和深度学习领域提供了一种强大的新型序列处理工具，具有推动自然语言处理和序列预测任务发展的学术意义。虽然 xLSTM 在多个方面表现出色，但仍存在一些局限性，主要涉及计算效率、内存容量、实现优化和泛化能力等方面。尽管存在这些挑战，xLSTM 在语言建模和其他序列建模任务上展现出的潜力表明，通过进一步的研究和开发，这些局限性有可能被克服或减轻。
LSTM变种模型
2401_83649983的博客
10-08 1813
双向长短期记忆网络（BiLSTM）是长短期记忆网络（LSTM）的扩展，旨在同时考虑序列数据中的过去和未来信息。BiLSTM 通过引入两个独立的 LSTM 层，一个正向处理输入序列，另一个逆向处理，使得每个时间步的输出包含了该时间步前后的信息。这种双向结构能够更有效地捕捉序列中的上下文关系，从而提高模型对语义的理解能力。正向传递: 输入序列按照时间顺序被输入到第一个LSTM层。每个时间步的输出都会被计算并保留下来。反向传递: 输入序列按照时间的逆序（即先输入最后一个元素）被输入到第二个LSTM层。
知识图谱-LSTM+CRF人物关系抽取实战
Huoyo
10-05 1万+
文章目录一、引言二、实践简介1、数据来源2、预测类别（7个）3、框架4、模型结构5、项目流程三、数据标注四、实战1、数据预处理1.1 词典映射1.2 从训练文件中获取句子和标签1.3 输入文本转id1.4 数据填充2、模型构建3、测试4、总结 一、引言 本文的idea主要来源于LSTM+CRF的命名实体识别，在命名实体识别中，可以通过BIO或者BIOSE等标注进行人名、地名、机构名或者其他专......
快速学会登上nature的热门算法，LSTM！
小白学视觉
11-21 71
今年LSTM火了！LSTM原作者分别提出xLSTM和Vision-LSTM，解决了以往的局限性。同时，LSTM+Transformer登上Nature；LSTM+CNN、LSTM+Attention等多种混合模型架构纷纷刷新SOTA。LSTM绝对是最近非常好出idea水论文的一个方向。我也整理了最近几年52个LSTM创新思路，全部有对应代码可以复现。已经按照核心原理整理命名，方便查找。今天无偿分享...
图灵奖得主也在做RNN？最新升级版改进思路太新颖！性能反超Transformer！
学姐带你玩AI的博客
11-05 448
RNN最近算是热度重燃了，前有反超Transformer的新架构TTT，后有图灵奖得主Yoshua Bengio推出的RNN全新精简改良版minLSTM和minGRU，它们在训练效率上比传统的RNN快了175倍！可见对于，其不仅能提升模型的性能和预测精度，更重要的是，还能帮助我们研究和实践不同的改进方法，探索新的神经网络结构和训练算法，挖掘到更多的创新点。如果有同学对这个方向感兴趣，可以看看我整理好的，有参考更好找思路，论文开源代码也附上了，方便大家复现。论文原文+开源代码需要的同学看文末。
毕业设计 LSTM的预测算法 - 股票预测 天气预测 房价预测
HUXINY的博客
11-04 3675
今天学长向大家介绍LSTM基础基于LSTM的预测算法 - 股票预测 天气预测 房价预测。
【LSTM时序预测】基于麻雀算法优化双向长短时记忆SSA-biLSTM时间序列数据预测（含前后对比）附Matlab代码和数据
m0_60703264的博客
01-01 884
时间序列数据预测在许多领域都有着广泛的应用，如金融、气象、交通等。近年来，随着深度学习的发展，LSTM（Long Short-Term Memory）网络因其强大的时序建模能力而受到广泛关注。然而，LSTM网络的训练过程往往需要大量的数据和计算资源，这对于一些资源有限的应用场景来说并不现实。为了解决这个问题，本文提出了一种基于麻雀算法优化双向长短时记忆SSA-biLSTM时间序列数据预测方法。该方法首先利用麻雀算法对LSTM网络的权重进行优化，然后使用优化后的LSTM网络对时间序列数据进行预测。
LSTM 详解及 LSTM 解决时间序列预测问题（附代码）
热门推荐
Incalos的博客
04-07 2万+
本文章详细介绍了 LSTM 的基本原理及计算过程，并且提供了基于多层 LSTM 解决时间序列预测问题的项目代码。
整理：4篇论文改进LSTM模型于时间序列预测，为实际问题的解决提供新的有效手段
mslion的博客
11-13 3484
时间序列预测的变革，LSTM是否真的走向终点？
取代Mamba，超越Transformer！扩展LSTM到数十亿参数
gzq0723的博客
11-08 103
时隔27年，原作者携xLSTM回归，通过引入指数门控和修改记忆结构来增强传统LSTM的能力，不仅打破了LSTM在处理长序列和复杂依赖关系方面的局限性，并在广泛的任务和基准测试中表现出了显著的性能。为了加深大家对xLSTM的理解并结合到自己的研究中，研梦非凡于11月14日晚（周四），为大家独家详解《LSTM再升级！xLSTM连超Transformer和Mamba》，从LSTM的贡献与局限性到xLST...
【论文复现】LSTM长短记忆网络
weixin_73074012的博客
05-26 2054
LSTM作为经典模型，可以用来做语言模型，实现类似于语言模型的功能，同时还经常用于做时间序列。由于LSTM的原版论文相关版权问题，这里以colah大佬的博客为基础进行讲解。之前写过一篇Tensorflow中的LSTM详解，但是原理部分跟代码部分的联系并不紧密，实践性较强但是如果想要进行更加深入的调试就会出现原理性上面的问题，因此特此作文解决这个问题，想要用LSTM这个有趣的模型做出更加好的机器学习效果😊。# 定义单个LSTM单元# 定义单个LSTM单元。
LSTM发展介绍
雾里闹的博客
04-16 651
lstm是目前比较常见的一种rnn结构，多用于处理序列数据。然而最初的lstm和我们目前使用到的lstm有不小的差别，下面具体介绍下lstm是如何一步一步变成现在的样子。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值