LSTM架构的演进：LSTM、xLSTM、LSTM+Transformer

于 2024-06-19 15:46:32 发布
阅读量343 收藏 2
点赞数 5
分类专栏： 机器学习 & 深度学习 文章标签： lstm transformer 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012856866/article/details/139804879
版权

文章目录

1. LSTM

传统的 LSTM (长短期记忆网络) 的计算公式涉及几个关键部分：输入门、遗忘门、输出门和单元状态。

在这里插入图片描述

2. xLSTM

xLSTM之所以称之为xLSTM就是因为它将LSTM扩展为多个LSTM的变体，sLSTM和mLSTM，每种变体都针对特定的性能和功能进行优化，以处理各种复杂的序列数据问题。

xLSTM 在性能上与最新的 Transformer 和状态空间模型相媲美，尤其是在大规模应用和长序列处理方面展现出优势。

2.1 理论介绍

xLSTM

2.2 代码实现

深入解析xLSTM：LSTM架构的演进及PyTorch代码实现详解

3. LSTM+Transformer

结合创新！LSTM+Transformer新成果登Nature，精度高达95.65%

酒酿小圆子～
关注
  • 5
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LSTM 升级了？ xLSTM 来挑战现状了
茶桁专栏
05-22 929
xLSTM 集成了指数门控和改进内存结构等先进功能，为基于 LSTM 的架构注入了新的活力。在人工智能领域，它是一种稳健的替代方案，尤其适用于需要高效长期依赖性管理的任务。这一演变表明，递归神经网络的未来大有可为，可增强其在实时语言处理和复杂数据序列预测等各个领域的适用性。尽管 xLSTM 有所增强，但它不太可能完全取代 Transformers，后者擅长并行处理和利用广泛注意力机制的任务。
结合创新！LSTM+Transformer新成果登Nature，精度高达95.65%
学姐带你玩AI的博客
04-26 2704
LSTM通过门控机制有效捕捉序列中的长期依赖关系，防止梯度消失或爆炸，在处理具有长期依赖性的时间序列数据时有显著优势。而Transformer通过自注意力和多头注意力机制全面捕捉序列依赖，能够同时考虑输入序列中的所有位置，更好地理解上下文关系，实现高效的并行计算。这种策略结合了两者的优势，在各种序列分析任务中实现了更精确的预测、更好的性能表现、更高的训练效率。比如登上Nature子刊的最新混合架构，以及精度高达95.65%的BiLSTM-Transformer。本文整理了。
xLSTM：拳打Transformer，脚踢Mamba？！
鲁班模锤
05-10 1741
​记得在《重新审视神经网络》这篇文章中提及，任何人都可以构建自己心目中的神经网络。在Transformers、Mamba、KAN之后，长短期记忆 (LSTM) 架构的发明者Sepp Hochreiter和他在NXAI的团队推出了一种称为扩展LSTM (xLSTM) 的新变体。
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5043
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
Block Recurrent Transformer：结合了LSTM和Transformer优点的强大模型
AI蜗牛车
07-16 986
转载：Deephub Imba在以前的文章中，我们讨论过Transformer并不适合时间序列预测任务。为了解决这个问题Google创建了Hybrid Transformer-LSTM模型，该模型可以实现SOTA导致时间序列预测任务。但是我实际测试效果并不好，直到2022年3月Google研究团队和瑞士AI实验室IDSIA提出了一种新的架构，称为Block Recurre...
创新模型LSTM+Transformer交通流量预测（Python代码，GRU/LSTM/CNN_LSTM作为对比模型，多特征输入，单标签输出，可以替换为其它时序数据集）
qq_40840797的博客
10-31 6746
测试集效果图（区域放大可以自己调整坐标，想放大哪部分都可以）对比模型的指标差异。
5 时间序列预测入门：LSTM+Transformer
qq_28611929的博客
11-28 6745
``python```- `d_model`：输入和输出的特征维度（隐藏单元数）。- `nhead`：多头注意力机制中的头数。- `dim_feedforward`：前馈神经网络中间层的维度。- `dropout`：Dropout 层的丢弃率。- `activation`：激活函数的类型，默认为 ReLU。`nn.TransformerEncoderLayer` 的输入和输出形状如下：输入形状：(序列长度, 批量大小, 特征维度) 或 (批量大小, 序列长度, 特征维度)。
推荐模型LSTM
frank_zhaojianbo的博客
06-06 711
import os import pandas as pd import numpy as np from tqdm import tqdm from sklearn.decomposition import LatentDirichletAllocation from sklearn.metrics import accuracy_score import time import datetime from scipy.sparse import hstack from sklearn.model_se
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： https://blog.csdn.net/qq_30803353/article/details/121875376 1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 主要思路： 对时序数据进行分块，...
基于ARIMA+Transformer+LSTM对心跳时间序列数据进行预测（源码+项目说明）.zip
02-28
基于ARIMA+Transformer+LSTM对心跳时间序列数据进行预测（源码+项目说明）.zip 1、该资源内项目代码经过严格调试，下载即用确保可以运行！ 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等...
lstm+crf、bilstm+crf 、LSTM CRF pytorch 命名实体识别代码
04-21
同时，为了提高模型性能，还可以尝试其他技术，如预训练词嵌入、注意力机制、更复杂的架构如Transformer等。 总之，这个项目提供了一个基础的NER解决方案，通过LSTM和CRF的结合，利用PyTorch的灵活性和效率，为研究...
基于Bert+BiLSTM+CRF的中文命名实体识别
最新发布
05-21
**BERT（Bidirectional Encoder Representations from Transformers）** 是谷歌推出的一种预训练语言模型，它通过Transformer架构实现了上下文双向的表示学习，能够捕捉到文本中的深层语义信息。BERT在预训练阶段...
LSTM-FCN将模型中的fcn分支换成Transformer LSTM-Transformer
04-01
2.数据集 班组1：label1人员数量为12 班组2：label1人员数量为25 3.研究目标 （1）不均衡数据，label0人员数量远大于label1...②多元时序分类LSTM-FCN https://github.com/titu1994/MLSTM-FCN 改进模型：将模型中的
（2024，LSTM，Transformer，指数门控，归一化器状态，多头内存混合）xLSTM：扩展的 LSTM
qq_44681809的博客
05-08 1140
xLSTM 引入指数门控，并修改 LSTM 的内存结构来扩展LSTM。sLSTM带有标量内存、标量更新和新的内存混合。完全可并行化的 mLSTM，具有矩阵内存和协方差更新规则（类似于Transformer的QKV）。
LSTM+Transformer混合模型时间序列预测实战教学
08-14 5228
LSTM+Transformer混合模型时间序列预测实战教学 毕业设计
使用深度学习预测交通流量：LSTM与Transformer模型的应用
sybh的博客
10-19 341
日期时间（timestamp）道路ID（road_id）车辆数量（traffic_volume）数据的时间间隔是每15分钟一次。
逐行理解LSTM代码
m0_74899987的博客
04-17 1116
定义输入数据维度和超参数input_size – 输入数据的大小，也就是前面例子中每个单词向量的长度(输入特征的维数）hidden_size – 隐藏层的大小（即隐藏层节点数量），输出向量的维度等于隐藏节点数（每个LSTM单元或者时间步的输出的ht的维度，单元内部有权重与偏差计算）num_layers – recurrent layer的数量，默认等于1（构建多层的LSTM进行堆叠）
lstm+transformer
08-19
- *1* *2* *3* [DL-Paper精读：LSTM + Transformer 架构模型](https://blog.csdn.net/li6016265/article/details/118662119)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值