xLSTM

已于 2024-05-14 17:00:25 修改
阅读量1.4k 收藏 29
点赞数 14
文章标签： lstm
于 2024-05-14 16:57:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanhuo23/article/details/138847013
版权

文章目录

一、摘要

在这里插入图片描述
xLSTM——新型递归神经网络架构，旨在解决传统LSTM的局限性，并提高其在语言建模等任务中的性能。

在这里插入图片描述

二、传统LSTM的局限

  • 无法修订存储决策

通过最近邻搜索问题来说明这一限制（见附录 B）：给定一个参考向量，必须按顺序扫描序列，以找到最相似的向量，以便在序列末尾提供。图2的左侧面板显示了该任务的均方误差。当找到一个更相似的向量时，LSTM 在修订存储值时遇到困难，而我们的新 xLSTM 通过指数门控修复了这个限制。

在这里插入图片描述

  • 有限的存储容量

信息必须压缩到标量单元状态中，文章通过稀有标记预测来说明这一限制。在图2的右侧面板中，给出了对 Wikite-103（Merity et al., 2017）上的标记预测的困惑度，针对不同标记频率的块（buckets）。由于其有限的存储容量，LSTM 在稀有标记上表现较差。新 xLSTM 通过矩阵存储解决了这个问题。

  • 由于记忆混合导致缺乏并行性

从一个时间步到下一个时间步的隐藏状态之间的隐藏-隐藏连接，强制要求LSTM进行顺序处理，影响了其在大规模数据处理中的效率。

三、扩展的LSTM

3.1 LSTM

  • CEC（ constant error carousel ）：引入了标量内存单元作为一个中心处理和存储单元，通过恒定误差旋转（cell state）避免了梯度消失。内存单元包含三个门（蓝色）：输入门、输出门和遗忘门。

在这里插入图片描述

3.2 sLSTM

  • 指数门控（红色）：引入指数激活函数到输入和遗忘门中——更有效地更新其内部状态，赋予LSTM修改存储决策的能力。
  • 归一化和稳定化：引入normalizer state，将输入门与所有未来遗忘门的乘积相加——能够更好地处理信息流，特别是在需要修订存储决策的场景中。
  • stabilizer state：指数激活函数可能导致较大的值，从而导致溢出。因此，用一个额外的状态mt来稳定门控信号在这里插入图片描述在这里插入图片描述
  • New Memory Mixing：sLSTM 可以像原始的 LSTM 一样具有多个内存单元（见附录 A.2）。多个内存单元通过从隐藏状态向量 h 到内存单元输入 z 和门 i、f、o 的递归连接 rz、ri、rf、ro 实现内存混合。新的sLSTM可以有多个头，每个头内的内存混合，但不能跨头。sLSTM头的引入和指数门控的结合为存储器混合提供了一种新的方法。
  • 附录 A.2：基于 Greff 等人（2015）的标准 LSTM 内存单元更新规则，在时间步 t 将标量单元状态公式扩展为单元状态向量，类似地，sLSTM 也可以向量化为多个单元：
    在这里插入图片描述

3.3 mLSTM

  • 矩阵记忆：将 LSTM 内存单元从标量 c ∈ R 增加到矩阵 C ∈ R^(d×d)，使用矩阵来存储和检索信息——矩阵乘法增强存储容量，解决了LSTM在处理稀有标记预测时的局限性。
  • 协方差更新规则：使用协方差矩阵来更新记忆单元。
    存储键-值对的协方差更新规则： C t = C t − 1 + v t k t ⊤   C_t =C_{t-1}+v_tk_{t}^{⊤} \, Ct​=Ct−1​+vt​kt⊤​
    在这里插入图片描述

mLSTM可以像原始的 LSTM 一样具有多个内存单元。对于 mLSTM，因为没有内存混合，多个头部和多个单元是等价的，这种递归可以重新表述为并行版本。

这两种新的记忆单元都通过指数门控来增强LSTM的功能。此外，mLSTM放弃了记忆混合，从而实现了并行化处理，而sLSTM则保留了记忆混合，但通过引入头部来形成新的记忆混合方式。

3.4 xLSTM

3.4.1 post up-projection

带有后向投影（post up-projection）的残差块（类似于Transformer），它在原始空间中非线性地总结过去，然后线性映射到高维空间，应用非线性激活函数，然后线性映射回原始空间。对于 xLSTM 块中的sLSTM块，主要使用后向投影残差块。
在这里插入图片描述

  • 嵌入在 pre-LayerNorm 残差结构中。
  • 输入门i和遗忘门f：可选择是否经过窗口大小为 4 的因果卷积和Swish激活函数。
    S w i s h ( x ) = x ∗ S i g m o i d ( x ) Swish(x)=x∗Sigmoid(x) Swish(x)=x∗Sigmoid(x)
  • 对于所有门控信号 i、f、o，以及单元更新 z，通过一个具有四个对角块或 “头” （Head）的块对角线性层。这些对角块与来自上一个隐藏状态的递归门 pre-activations 相一致，对应于一个具有四个头的 sLSTM，用圆形箭头表示。
  • 得到的隐藏状态通过一个 GroupNorm 层—— 每个头部都进行 LayerNorm。
  • 最后，使用门控MLP对输出进行上下投影，使用GeLU激活函数和投影因子4/3来匹配参数。
    G E L U ( x ) = x ∗ P ( X ≤ x ) = x ∗ Φ ( x ) GELU(x)=x∗P({X}\le{x})=x∗\Phi (x) GELU(x)=x∗P(X≤x)=x∗Φ(x)其中 Φ ( x ) \Phi (x) Φ(x)指x的高斯正态分布的累积函数。
3.4.2 pre up-projection

带有前向投影（pre up-projection）的残差块（类似于 SSM），它线性映射到高维空间，然后在高维空间中非线性地总结过去，最后线性映射回原始空间。对于 xLSTM 块中的mLSTM块，主要使用前向投影残差块。
在这里插入图片描述

  • 嵌入在 pre-LayerNorm 残差结构中。
  • 首先对输入进行上投影，投影因子为 2，一次用于外部化输出门，一次作为 mLSTM 单元的输入。
  • 经过窗口大小为 4 的因果卷积和Swish激活函数进行可学习的跳跃连接。
  • 通过块（Block）大小为 4 的块对角投影矩阵获得输入 q 、 k、v，v 直接馈送，跳过卷积部分。
  • mLSTM 序列混合之后，通过 GroupNorm进行输出归一化—— 每个头部都进行 LayerNorm。然后将可学习的跳跃输入添加到结果中。
  • 外部输出门对上述结果进行门控。
  • 最后进行下投影。

xLSTM的架构通过将这些新变体（sLSTM、mLSTM）集成到残差块模块中，形成了xLSTM块，然后将这些块以残差堆叠的方式构建成完整的xLSTM架构。这种架构不仅提高了性能，还在规模化方面与现有的Transformer和状态空间模型相比具有优势。

四、实验

下表在Long Range Arena基准上的实验结果，旨在评估了模型处理长序列的能力。可以发现xLSTM在所有测试任务上均表现出色，显示了其在处理长上下文问题方面的高效性。
在这里插入图片描述
下表展示了，在SlimPajama（300B）数据集上，不同模型尺寸的xLSTM与其他模型在验证集困惑度和下游任务性能上的比较。可以发现xLSTM在不同模型尺寸下，在验证集上的困惑度最低，证明了其在语言建模任务上的优势。
在这里插入图片描述

参考

https://zhuanlan.zhihu.com/p/696640517
https://cloud.tencent.com/developer/article/2415986

Light trap
关注
  • 14
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
XLSTM的Pytorch实现
05-13
XLSTM：继LSTM的又一巨作，在LSTM的基础上有了很大的提高 有想找创新点的可以考虑
LSTM一作新作xLSTM架构：大幅领先Transformer和状态空间模型（SSM）
zenRRan的博客
05-09 1346
这篇论文介绍了一种名为xLSTM（Extended Long Short-Term Memory）的新型递归神经网络架构，旨在解决传统LSTM（Long Short-Term Memory）网络的一些局限性，并提高其在语言建模等任务中的性能。论文：xLSTM: Extended Long Short-Term Memory链接：https://arxiv.org/pdf/2405.04517下面是...
深入解析xLSTM：LSTM架构的演进及PyTorch代码实现详解
deephub
05-20 5403
xLSTM的新闻大家可能前几天都已经看过了，原作者提出更强的xLSTM，可以将LSTM扩展到数十亿参数规模，我们今天就来将其与原始的lstm进行一个详细的对比，然后再使用Pytorch实现一个简单的xLSTM。xLSTM 是对传统 LSTM 的一种扩展，它通过引入新的门控机制和记忆结构来改进 LSTM，旨在提高 LSTM 在处理大规模数据时的表现和扩展性。以下是 xLSTM 相对于原始 LSTM 的几个主要区别：总的来说，xLSTM 的设计目标是解决传统 LSTM 在处理大规模数据和长序列时面临的限制，如并
Vision-LSTM（ViL）实战：使用Vision-LSTM（ViL）实现图像分类任务
最新发布
06-11
Vision-LSTM（ViL）架构的核心是xLSTM块。每个xLSTM块都包含一个输入门、一个遗忘门、一个输出门和一个内部记忆单元。与传统的LSTM相比，xLSTM引入了指数门控机制，使得模型能够更好地处理长序列数据。同时，xLSTM采用可并行化的矩阵内存结构，提高了模型的计算效率。 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/139582259
xLSTM——解析扩展长短期记忆的网络算法与应用
知来者逆的博客
05-21 1765
二十多年来，创举架构在许多深度学习突破和实际应用中发挥了重要作用。从生成自然语言到为语音识别系统提供动力，LSTM 一直是人工智能革命背后的驱动力。然而，即使是 LSTM 的创建者也认识到它们固有的局限性，导致它们无法充分发挥潜力。无法修改存储的信息、内存容量有限以及缺乏并行化等缺点为 Transformer 和其他模型的兴起铺平了道路，以超越 LSTM 来完成更复杂的语言任务。但在最近的一项进展中，Hochreiter 和他的团队引入了一个新的变体，称为解决这些长期存在的问题。
xLSTM: Extended Long Short-Term Memory
北风吹过的秋
06-02 708
图8在展示了不同语言模型在不同模型大小下的验证集困惑度（Perplexity）与参数数量的关系，这是对模型缩放行为（Scaling Laws）的分析。图中比较了几种xLSTM变体，包括只有sLSTM的架构（xLSTM[0:1]），只有mLSTM的架构（xLSTM[1:0]），以及两者结合的架构（xLSTM[1:1]）。表3展示了不同语言模型在SlimPajama数据集上的性能比较，特别是在不同模型大小下的验证集困惑度（Perplexity）和下游任务（Downstream Tasks）的性能。
xLSTM：拳打Transformer，脚踢Mamba？！
鲁班模锤
05-10 1440
​记得在《重新审视神经网络》这篇文章中提及，任何人都可以构建自己心目中的神经网络。在Transformers、Mamba、KAN之后，长短期记忆 (LSTM) 架构的发明者Sepp Hochreiter和他在NXAI的团队推出了一种称为扩展LSTM (xLSTM) 的新变体。
xLSTM：扩展长短期记忆网络的综合指南
数智笔记
05-18 1869
二十多年来， Sepp Hochreiter 开创性的 长短期记忆 (LSTM) 架构在众多深度学习的突破和实际应用中起到了重要作用。从生成自然语言到支持语音识别系统，LSTM 一直是推动 AI 革命的核心力量。然而，即使是 LSTM 的创造者也认可其无法充分发挥全部潜力的固有局限性。这些局限性包括无法修正存储的信息、有限的存储能力以及缺乏并行处理功能，这些因素为变压器模型及其他模型的崛起铺平了道路，使其在更复杂的语言任务中超越了 LSTM。
LSTM 升级了？ xLSTM 来挑战现状了
茶桁专栏
05-22 813
xLSTM 集成了指数门控和改进内存结构等先进功能，为基于 LSTM 的架构注入了新的活力。在人工智能领域，它是一种稳健的替代方案，尤其适用于需要高效长期依赖性管理的任务。这一演变表明，递归神经网络的未来大有可为，可增强其在实时语言处理和复杂数据序列预测等各个领域的适用性。尽管 xLSTM 有所增强，但它不太可能完全取代 Transformers，后者擅长并行处理和利用广泛注意力机制的任务。
LSTM模型
ZJQ的博客
08-18 1478
更新完细胞状态后需要根据输入的ht-1和Xt来判断输出细胞的哪些状态特征，这里需要将输入经过一个称为输出门的sigmoid层得到判断条件，然后将细胞状态经过tanh层得到一个-1~1之间值的向量，该向量与输出门得到的判断条件相乘就得到了最终该RNN单元的输出。我们可以先把中间那一坨遮起来，看一下LSTM在t时刻的输入与输出，首先，输入有三个：细胞状态Ct-1，隐层状态ht-1,t时刻输入向量Xt，而输出有两个：细胞状态Ct，隐层状态ht，其中ht 还作为t时刻的输出。分叉的箭头表示向量的复制。
逐行理解LSTM代码
m0_74899987的博客
04-17 978
定义输入数据维度和超参数input_size – 输入数据的大小，也就是前面例子中每个单词向量的长度(输入特征的维数）hidden_size – 隐藏层的大小（即隐藏层节点数量），输出向量的维度等于隐藏节点数（每个LSTM单元或者时间步的输出的ht的维度，单元内部有权重与偏差计算）num_layers – recurrent layer的数量，默认等于1（构建多层的LSTM进行堆叠）
【论文阅读】xLSTM: Extended Long Short-Term Memory
kanon的博客
05-21 987
论文提出了xLSTM，一种扩展的长短期记忆网络，旨在解决传统LSTM的局限性，并在大规模参数下进行语言建模。xLSTM引入了指数门控和适当的归一化与稳定技术，修改了LSTM记忆结构，包括标量记忆的sLSTM和完全可并行化的具有矩阵记忆和协方差更新规则的mLSTM。通过将这些LSTM变体集成到残差块中，构建了xLSTM架构，这些架构在性能和扩展性方面与最先进的Transformers和状态空间模型相媲美。
AI日报｜苹果新款iPad Pro搭载AI芯片，DeepSeek-V2开源，百万token仅1元...
金融机器智能社区
05-09 564
分布式全链路因果学习系统 OpenASCE:大模型驱动的知识图谱 OpenSPG:大规模图学习系统 OpenAGL:苹果推出新款iPad Pro，配备最新AI芯片强大MoE语言模型DeepSeek-V2正式开源，1元百万token，性能直逼GPT-4-turboOpenAI SearchGPT或在下周一面世LSTM作者发布新LLM架构意欲取代TransformerCopilot Chat已在GitHub移动端全面可用...
【LSTM】深入浅出讲解长短时记忆神经网络（结构、原理）
热门推荐
程序星空实验室
05-26 4万+
1、LSTM的背景介绍 长短时记忆神经网络（Long Short-term Memory Networks，简称LSTM）是特殊的RNN，尤其适合顺序序列数据的处理，LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广，LSTM明确旨在避免长期依赖性问题，成功地解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 2、RNN的不足 图...
LSTM（长短期记忆神经网络）
qq_74722169的博客
12-08 1万+
首先解释一下，经过这个sigmod激活函数后，得到的都是在0到1之间的数值，1表示该门完全打开，0表示该门完全关闭，其中是最为普通的输入，可以从上图中看到，是通过该时刻的输入和上一时刻存在memory cell里的隐藏层信息向量拼接，再与权重参数向量点积，得到的值经过激活函数tanh最终会得到一个数值，也就是，注意只有的激活函数是tanh，因为是真正作为输入的，其他三个都是门控装置。再来看，input gate的缩写i，所以也就是输入门的门控装置，同样也是通过该时刻的输入。
Matlab使用LSTM网络做classification和regression时XTrain的若干种数据结构-part II
weixin_43196262的博客
10-17 7126
接上篇，这篇记录使用LSTM进行sequence-to-sequence classification。 2. squence-to-sequence classification （以下简称STS） 完成参考来自mathworks官网： https://www.mathworks.com/help/deeplearning/examples/sequence-to-sequence-classi...
一文读懂LSTM
suotanyu1595的博客
09-09 435
一文读懂LSTM0 从RNN说起1 普通RNN2 LSTM2.1 什么是LSTM2.２ 深入LSTM结构3 总结 0 从RNN说起 循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网路。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上下文提到的内容不同而含有不同的涵义，RNN就能很好的处理这样的数据。 1 普通RNN 先介绍一下一般的RNN模型。 其主要的形式如下图所示（图片来源台大李宏毅PPT）： 这里： ｘ维当前状态下数据
xLSTM 与 Transformers：谁会获胜？
iCloudEnd的博客
05-30 32
我还记得几年前学习过 LSTM，但直到今天，我仍觉得它很难理解，更难解释。很容易理解单个方程或部分，但对于它们最初是如何提出架构的，却不太清楚。让我们试着简要描述一下 LSTM 架构。我们可以看到这里发生了很多操作。首先，C_t-1 这基本上是网络的长期记忆，直到t-1输入标记被处理。接下来，我们将h_t-1 其视为本地或短期记忆，这里称为隐藏状态。最后，Z_t是我们的输入序列。现在 LSTM 也有三个门，输入门、遗忘门和输出门。
Dual-CNN+Bi-LSTM (DCNN+Bi-LSTM)
01-18
Dual-CNN+Bi-LSTM (DCNN+Bi-LSTM)是一种结合了Dual-CNN和Bi-LSTM的网络模型，用于文本分类任务。它的结构包括两个主要部分：Dual-CNN和Bi-LSTM。 Dual-CNN是一种使用两个不同大小的卷积核进行卷积操作的模型。它的目的是捕捉不同大小的语义信息。通过使用不同大小的卷积核，Dual-CNN可以同时捕捉局部和全局的语义特征。 Bi-LSTM是一种双向长短期记忆网络，用于学习文本中的上下文信息。Bi-LSTM通过同时考虑前向和后向的上下文信息，可以更好地理解文本的语义。 下面是一个示例代码，演示了如何实现Dual-CNN+Bi-LSTM模型： ```python import tensorflow as tf from tensorflow.keras.layers import Input, Embedding, Conv1D, MaxPooling1D, Bidirectional, LSTM, Dense # 定义输入层 input_layer = Input(shape=(max_length,)) # 定义嵌入层 embedding_layer = Embedding(vocab_size, embedding_dim)(input_layer) # 定义Dual-CNN层 conv1 = Conv1D(filters=32, kernel_size=3, activation='relu')(embedding_layer) conv2 = Conv1D(filters=32, kernel_size=5, activation='relu')(embedding_layer) pool1 = MaxPooling1D(pool_size=2)(conv1) pool2 = MaxPooling1D(pool_size=2)(conv2) # 将Dual-CNN层的输出拼接起来 concat = tf.keras.layers.concatenate([pool1, pool2], axis=1) # 定义Bi-LSTM层 lstm = Bidirectional(LSTM(64))(concat) # 定义输出层 output_layer = Dense(num_classes, activation='softmax')(lstm) # 定义模型 model = tf.keras.Model(inputs=input_layer, outputs=output_layer) # 编译模型 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # 训练模型 model.fit(X_train, y_train, epochs=10, batch_size=32) # 使用模型进行预测 predictions = model.predict(X_test) ``` 请注意，上述代码中的`max_length`是输入文本的最大长度，`vocab_size`是词汇表的大小，`embedding_dim`是嵌入层的维度，`num_classes`是分类的类别数。你需要根据你的具体任务进行相应的调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值