LSTM一作新作xLSTM架构：大幅领先Transformer和状态空间模型（SSM）

最新推荐文章于 2024-09-11 10:03:30 发布
最新推荐文章于 2024-09-11 10:03:30 发布
阅读量3.6k 收藏 16
点赞数 8
文章标签： lstm transformer 人工智能 rnn 深度学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247527914&idx=1&sn=e587a115c66b1d862b6d737ea0e36701&chksm=ea4cbfaf3ffa475cf18f19841a8f1c0e79c103432b658b200c95d5533031da9e4b70dbf3b7a5&scene=126&sessionid=0
版权

9f6580f37551e136279847e04ada843c.png

这篇论文介绍了一种名为xLSTM（Extended Long Short-Term Memory）的新型递归神经网络架构，旨在解决传统LSTM（Long Short-Term Memory）网络的一些局限性，并提高其在语言建模等任务中的性能。

7d8f14a8c2ce6edc55ba5a10380bc6e3.png

论文：xLSTM: Extended Long Short-Term Memory
链接：https://arxiv.org/pdf/2405.04517

下面是对论文各部分的详细解读。

摘要

  • 背景：LSTM在1990年代被提出，用以解决循环神经网络（RNN）的梯度消失问题。LSTM在多种领域取得了成功，但随着Transformer技术的出现，其地位受到了挑战。

  • 问题：作者提出了一个问题：如果将LSTM扩展到数十亿参数，并利用现代大型语言模型（LLM）的技术，同时克服LSTM的已知限制，我们能在语言建模上走多远？956051bcbf14f931f1c6e02b21eb24c5.png

  • 贡献：论文介绍了两种新的LSTM变体：sLSTM（具有标量记忆和更新）和mLSTM（具有矩阵记忆和协方差更新规则），并将它们集成到残差块中，形成xLSTM架构。

引言

  • LSTM原理：介绍了LSTM的核心原理，包括恒定误差旋转（constant error carousel）和门控机制。

  • LSTM应用：LSTM在文本生成、序列到序列翻译、程序评估等任务中表现出色。

  • LSTM局限性：指出LSTM的三个主要局限性：无法修订存储决策、有限的存储容量、缺乏可并行化。

扩展的长短期记忆

  • sLSTM：引入了指数门控和新的存储混合技术，允许LSTM修订其存储决策。

  • mLSTM：将LSTM的记忆单元从标量扩展到矩阵，提高了存储容量，并引入了协方差更新规则，使得mLSTM可以完全并行化。

  • xLSTM架构：通过将sLSTM和mLSTM集成到残差块中，构建了xLSTM架构。

记忆单元

  • 恒定误差旋转：ct = ft * ct-1 + it * zt，其中ct是单元状态，ft是遗忘门，it是输入门，zt是经过激活函数的输入。

  • 门控：包括输入门it、遗忘门ft和输出门ot，控制信息的流动。

b6861e0579b910b7ad68961db0e96ef6.png

sLSTM

  • 指数门控：引入指数激活函数到输入和遗忘门中。

  • 标准化和稳定化：通过规范化器状态来平衡门控的激活值。

94bf12572e86cfdb1b1911c9fb24fdac.png5b1a04401efa18a545edf85b6b6a7d53.png

mLSTM

  • 矩阵记忆：使用矩阵来存储和检索信息，提高了存储容量。

  • 协方差更新规则：使用协方差矩阵来更新记忆单元。

a6a2cf6c66850d6ac8cd04d3e923a12e.png

xLSTM架构

  • 残差块：xLSTM架构通过残差堆叠构建，利用预层归一化（preLayerNorm）残差骨干。

  • 并行化：mLSTM的设计允许并行化，而sLSTM由于内存混合而无法并行化。

8f66bd04dd7af9daab277001a42fcef0.png

实验

3c5771fcccaf5cdde085932d719dae51.png

  • 合成任务和长距离竞技场：测试了xLSTM在处理形式语言和长序列任务上的能力。d01ddecc2be8c00cac8444ee77e92925.png18c837e66e99c25cfc02fae12b37f470.png37149e1ad8b1516c0876b7086503681a.png

  • 方法比较和消融研究：在SlimPajama数据集上训练并比较了xLSTM和其他方法的性能。45248fb728c1c4ae531805178b371fbf.png

  • 大型语言模型：在更大的数据集上训练xLSTM，并评估其作为大型语言模型的潜力。5892b222e92c3c8fb300420ca5e380cb.pngce9e2c5fd4ed790dec8de6dee40deb73.pngb06448c18f55625045eaf31dd50887c0.pngff079ebe7b8785d9783296f2274ebf25.png

相关工作

  • 线性注意力：讨论了几种旨在降低Transformer注意力机制复杂度的方法。

  • 状态空间模型：最近在语言建模中变得流行的方法，它们在上下文长度上是线性的。

结论

  • 性能：xLSTM在语言建模任务上与现有的Transformer和状态空间模型相比表现出色。

  • 潜力：xLSTM有潜力成为强化学习、时间序列预测或物理系统建模等领域的重要工具。

限制

  • 并行化：sLSTM的内存混合阻止了并行化操作。

  • 计算复杂性：mLSTM的矩阵记忆具有高计算复杂性。

  • 初始化：遗忘门的初始化需要谨慎选择。

  • 内存限制：矩阵记忆可能在长序列上下文中超载。

这篇论文的每个部分都详细介绍了xLSTM架构的设计原理、数学公式和实验结果，展示了其在语言建模任务中的潜力。

本文主要来自kimi解读，具体了解请阅读原论文。

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

0c9e1b1361b41dbb7d4bc49365e827e0.png

id：DLNLPer，记得备注呦

zenRRan
关注
LSTM 升级了？ xLSTM 来挑战现状了
茶桁专栏
05-22 1140
xLSTM 集成了指数门控和改进内存结构等先进功能，为基于 LSTM 的架构注入了新的活力。在人工智能领域，它是一种稳健的替代方案，尤其适用于需要高效长期依赖性管理的任务。这一演变表明，递归神经网络的未来大有可为，可增强其在实时语言处理和复杂数据序列预测等各个领域的适用性。尽管 xLSTM 有所增强，但它不太可能完全取代 Transformers，后者擅长并行处理和利用广泛注意力机制的任务。
XLSTM的Pytorch实现
05-13
XLSTM：继LSTM的又一巨作，在LSTM的基础上有了很大的提高 有想找创新点的可以考虑
LSTM架构的演进：LSTM、xLSTM、LSTM+Transformer
酒酿小圆子呀～
06-19 581
xLSTM。
xLSTM 开源项目使用教程
gitblog_00176的博客
08-27 511
xLSTM 开源项目使用教程 xlstmOfficial repository of the xLSTM.项目地址:https://gitcode.com/gh_mirrors/xl/xlstm 1. 项目的目录结构及介绍 xLSTM 项目的目录结构如下： xlstm/ ├── experiments/ │ └── res/ │ └── test/ ├── AUTHORS ├──...
Vision-LSTM: xLSTM 作为通用视觉主干
m0_47867638的博客
06-10 1156
尽管Transformer最初是为自然语言处理引入的，但它现在已经被广泛用作计算机视觉中的通用主干结构。最近，长短期记忆（LSTM）已被扩展为一种可扩展且性能优越的架构——xLSTM，它通过指数门控和可并行化的矩阵内存结构克服了LSTM长期以来存在的限制。在本报告中，我们介绍了Vision-LSTM（ViL），它是将xLSTM构建块应用于计算机视觉的一种适配。ViL由一系列xLSTM块组成，其中奇数块从上到下处理补丁标记的序列，而偶数块则从下到上处理。
【深度学习】 LSTM模型
大西瓜不甜的博客
05-05 1685
循环神经网络（Recurrent Neural Networks） 人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候，你并不会忘记之前看过的文字，从头思考当前文字的含义。 传统的神经网络并不能做到这一点，这是在对这种序列信息（如语音）进行预测时的一个缺点。比如你想对电影中的每个片段去做事件分类，传统的神经网络是很难通过...
xLSTM
yanhuo23的博客
05-14 3875
xLSTM——新型递归神经网络架构，旨在解决传统LSTM的局限性，并提高其在语言建模等任务中的性能。
xLSTM——解析扩展长短期记忆的网络算法与应用
知来者逆的博客
05-21 2941
二十多年来，创举架构在许多深度学习突破和实际应用中发挥了重要作用。从生成自然语言到为语音识别系统提供动力，LSTM 一直是人工智能革命背后的驱动力。然而，即使是 LSTM 的创建者也认识到它们固有的局限性，导致它们无法充分发挥潜力。无法修改存储的信息、内存容量有限以及缺乏并行化等缺点为 Transformer 和其他模型的兴起铺平了道路，以超越 LSTM 来完成更复杂的语言任务。但在最近的一项进展中，Hochreiter 和他的团队引入了一个新的变体，称为解决这些长期存在的问题。
xLSTM: Extended Long Short-Term Memory
北风吹过的秋
06-02 1301
图8在展示了不同语言模型在不同模型大小下的验证集困惑度（Perplexity）与参数数量的关系，这是对模型缩放行为（Scaling Laws）的分析。图中比较了几种xLSTM变体，包括只有sLSTM的架构（xLSTM[0:1]），只有mLSTM的架构（xLSTM[1:0]），以及两者结合的架构（xLSTM[1:1]）。表3展示了不同语言模型在SlimPajama数据集上的性能比较，特别是在不同模型大小下的验证集困惑度（Perplexity）和下游任务（Downstream Tasks）的性能。
LSTM模型
ZJQ的博客
08-18 1679
更新完细胞状态后需要根据输入的ht-1和Xt来判断输出细胞的哪些状态特征，这里需要将输入经过一个称为输出门的sigmoid层得到判断条件，然后将细胞状态经过tanh层得到一个-1~1之间值的向量，该向量与输出门得到的判断条件相乘就得到了最终该RNN单元的输出。我们可以先把中间那一坨遮起来，看一下LSTM在t时刻的输入与输出，首先，输入有三个：细胞状态Ct-1，隐层状态ht-1,t时刻输入向量Xt，而输出有两个：细胞状态Ct，隐层状态ht，其中ht 还作为t时刻的输出。分叉的箭头表示向量的复制。
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5292
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
基于LSTM和Transformer模型的时序预测实践源码
最新发布
09-27
本项目为时序预测实践，采用Python语言编写，包含31个文件，涵盖14个PNG图片、7个XML配置、3个Python源码、3个CSV数据、1个Git忽略规则、1...项目核心基于LSTM和Transformer模型，旨在提供高效的时间序列预测解决方案。
基于Simulink的时间序列预测(包括ARIMAX、LSTM、GRU和SSM模型)，使用MATLABR2020a
06-04
包括ARIMAX、LSTM、GRU和SSM模型。 让我们在 Simulink 上运行时间序列预测！！​ ＃＃ 介绍 本页具体介绍如何针对以下需求实现时间序列模型。 - 在开发中的 Simulink 模型上构建深度学习功能​ - 在 Simulink 上...
【人工智能】LLM 大型语言模型和 Transformer 架构简介
热门推荐
AI天才研究院
05-24 2万+
然而，传统的机器学习模型，例如神经网络，并不能天生理解输入的顺序。通过将位置编码纳入 Transformer 架构，GPT 可以更有效地理解句子中单词的顺序，并生成语法正确且语义有意义的输出。但是，模型只能理解数字，不能理解文本，因此需要将这些输入转换为称为“输入嵌入”的数字格式。作为初创公司的首席技术官，我每天都在讨论这项革命性的技术，因为围绕它的持续不断的嗡嗡声和炒作。这篇博文将探讨 LLM（大型语言模型）和转换器架构的基本概念，转换器架构是所有带有转换器的语言模型的构建块，包括 GPT。
xLSTM模型学习笔记
ghost_him的博客
09-11 1036
首先，LSTM 被设计为解决 RNN 中的梯度消失和爆炸问题，通过门控机制实现时序上的注意力控制。然后，sLSTM 通过改进激活函数和引入额外状态来增强模型的记忆和选择能力。接着，mLSTM 通过矩阵化记忆单元和引入键值对机制提升了长序列处理效率和并行能力。最后，xLSTM 结合sLSTM和mLSTM的优势，通过非线性变换和高维空间映射提高模型表现，并在大模型设计中提供更高的效率和适应性。
【论文阅读】xLSTM: Extended Long Short-Term Memory
kanon的博客
05-21 1605
论文提出了xLSTM，一种扩展的长短期记忆网络，旨在解决传统LSTM的局限性，并在大规模参数下进行语言建模。xLSTM引入了指数门控和适当的归一化与稳定技术，修改了LSTM记忆结构，包括标量记忆的sLSTM和完全可并行化的具有矩阵记忆和协方差更新规则的mLSTM。通过将这些LSTM变体集成到残差块中，构建了xLSTM架构，这些架构在性能和扩展性方面与最先进的Transformers和状态空间模型相媲美。
探索未来语言模型的新方向：xLSTM
gitblog_00037的博客
06-19 347
探索未来语言模型的新方向：xLSTM xlstmOfficial repository of the xLSTM.项目地址:https://gitcode.com/gh_mirrors/xl/xlstm 在深度学习的广阔领域中，长短期记忆网络（LSTM）以其强大的序列处理能力和长期依赖捕获机制而闻名。然而，随着时间的推移，研究者们不断寻求超越传统的路径，旨在解决LSTM存在的固有限制，并探索更高...
LSTM的详细计算过程
mingo_敏
11-05 9355
1 LSTM总体框架 LSTM模型是由时刻的输入词，细胞状态 ，临时细胞状态，隐层状态，遗忘门，记忆门，输出门组成。LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态，其中遗忘，记忆与输出由通过上个时刻的隐层状态和当前输入计算出来的遗忘门，记忆门，输出门来控制。 图1. LSTM总体框架 2 LSTM计算过程 图2. 计算遗忘门 图3. 计算记忆门和临时细胞状态 图4. 计算当前时刻细胞状态
深入解析xLSTM：LSTM架构的演进及PyTorch代码实现详解
deephub
05-20 1万+
xLSTM的新闻大家可能前几天都已经看过了，原作者提出更强的xLSTM，可以将LSTM扩展到数十亿参数规模，我们今天就来将其与原始的lstm进行一个详细的对比，然后再使用Pytorch实现一个简单的xLSTM。xLSTM 是对传统 LSTM 的一种扩展，它通过引入新的门控机制和记忆结构来改进 LSTM，旨在提高 LSTM 在处理大规模数据时的表现和扩展性。以下是 xLSTM 相对于原始 LSTM 的几个主要区别：总的来说，xLSTM 的设计目标是解决传统 LSTM 在处理大规模数据和长序列时面临的限制，如并
transformer和lstm模型
06-01
Transformer和LSTM都是常用的深度学习模型，但它们在处理序列数据时有着不同的特点和适用场景。 Transformer是一种完全基于注意力机制的模型，它不像LSTM那样有明显的记忆单元，而是通过注意力机制来处理序列数据。Transformer在自然语言处理和语音识别等领域表现良好，特别是在长序列的处理上优于LSTM。 LSTM是一种递归神经网络模型，它通过记忆单元和门控机制来处理序列数据。LSTM在处理短序列时表现良好，特别是在时间序列预测、文本分类和机器翻译等领域有广泛的应用。 需要根据具体问题来选择合适的模型。如果需要处理长序列，并且序列中的元素之间的关系比较复杂，那么可以考虑使用Transformer。如果需要处理短序列或者时间序列，并且序列中的元素之间的关系比较简单，那么可以考虑使用LSTM。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值