LSTM又杀回来了!新成果登Nature,精度高达95.65%

今年上半年,LSTM火了!

LSTM原作者分别提出xLSTM和Vision-LSTM,解决了以往的局限性。同时,LSTM+Transformer登上Nature;LSTM+CNN、LSTM+Attention等多种混合模型架构纷纷刷新SOTA。

LSTM绝对是最近非常好出idea水论文的一个方向。我也整理了最近几年52个LSTM创新思路全部有对应代码可以复现。已经按照核心原理整理命名,方便查找。

今天无偿分享给大家学习,欢迎扫码下载。

678e1f306c90a6d95dbc05c214ca7f06.jpeg

扫码下载52个LSTM创新思路

全部论文+代码

ee5e5d69d00dc423ab6805554dc497cf.gif

我整理的52个LSTM创新思路都是近几年的论文,最新到2024上半年。已经根据核心思路进行命名分类,方便大家按需求查找学习。

最关键的是,所有思路全部都有下载好的开源代码!小伙伴们不需要再去网上下载论文和代码,直接下载这个合集就可以了。完全无偿分享,扫码就能下载。

3b461589a7f8417f7ca9bb33a945bbe6.jpeg

扫码下载52个LSTM创新思路

全部论文+代码

01a45b71dbf362ebb96e8eb5b3fbadb8.gif

这里也简单分析几个近期的热门研究:

- xLSTM通过指数门控和可并行化的矩阵内存结构克服无法修改存储决策、信息必须压缩成标量单元状态、缺乏可并行性等缺陷。Vision-LSTM则是将其拓展到视觉领域。

- LSTM可以与热门的mamba结合。将视觉Mamba块的优势与LSTM集成在一起,构建了一个以VMRNN单元为中心的网络。

- LSTM+Transformer登上nature的研究做到了在多任务实时预测中,即使数据保留率为50%,模型性能依然最优。融合模型同时拥有捕捉长期依赖关系与高效并行计算能力。

等等。。。

想要全部52个LSTM创新思路,可以扫码下载!

04f9dd052f36a84e97276ed2232a56e1.jpeg

扫码下载52个LSTM创新思路

全部论文+代码

5325a8348f914e23dc20a6c6f079bdea.gif

如果大家有进一步学习LSTM的需求,我也分享一个完全免费的LSTM讲座课程。由UK博士、私募量化研究员Felix老师主讲。针对热门的xLSTM、KAN与时间序列

讲座是完全免费的,对时序感兴趣,想结合最新的xLSTM、KAN等技术找idea,发paper的小伙伴们千万不要错过这个讲座!

ebf10becbdcd9c160941978bfbffd4a3.png

c261a20d8beb9d149569035c793bc120.gif

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
逐行解释如下: 1. `numHiddenUnits = 62;%第一层维度`:定义LSTM层的输出维度为62。 2. `layers = [ ...`:定义神经网络的层,包括输入层、LSTM层、全连接层、dropout层和回归层。使用方括号和省略号表示该变量分布在多行,方便代码阅读。 3. `sequenceInputLayer(numFeatures)%输入层`:定义输入层,输入数据为时间序列数据,输入特征的数量为numFeatures。 4. `lstmLayer(numHiddenUnits,'OutputMode','sequence')%第一层`:定义LSTM层,输出维度为numHiddenUnits,并且输出的模式为序列。 5. `fullyConnectedLayer(95)%链接层`:定义全连接层,输出维度为95。 6. `dropoutLayer(0.3)%遗忘层`:定义dropout层,以概率0.3随机丢弃神经元。 7. `fullyConnectedLayer(numResponses)%链接层`:定义全连接层,输出维度为numResponses。 8. `regressionLayer];%回归层`:定义回归层,用于回归任务。 9. `% Specify the training options.`:指定训练选项。 10. `% Train for 60 epochs with mini-batches of size 20 using the solver 'adam'`:使用adam优化器,进行60次迭代训练,每次迭代使用大小为miniBatchSize的mini-batch数据。 11. `maxEpochs =60;%最大迭代次数`:最大迭代次数为60。 12. `miniBatchSize = 2;%最小批量(数据量较大故用minibatch)`:每个mini-batch的大小为2,用于减少内存占用和加速训练。 13. `% the learning rate == 0.01`:学习率初始值为0.01。 14. `% set the gradient threshold to 1`:设置梯度阈值为1,用于避免梯度爆炸。 15. `% set 'Shuffle' to 'never'`:设置数据不进行打乱顺序。 16. `options = trainingOptions('adam', ...`:使用adam优化器,同时设置最大迭代次数、最小批次、初始学习率、梯度阈值、是否打乱数据顺序、是否输出训练进度等训练选项。 17. `'Plots','training-progress',...`:设置训练过程中输出训练进度的图表。 18. `'Verbose',0);`:设置训练过程中不输出详细信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值