Mamba：6 线性RNN

已于 2024-05-12 20:22:05 修改
阅读量1.5k 收藏 17
点赞数 42
分类专栏： 新技术解读 文章标签： rnn 人工智能 深度学习
于 2024-05-12 18:46:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Janexjy/article/details/138763101
版权

若在阅读过程中有些知识点存在盲区，可以回到如何优雅的谈论大模型重新阅读。另外斯坦福2024人工智能报告解读为通识性读物。若对于如果构建生成级别的AI架构则可以关注AI架构设计。技术宅麻烦死磕LLM背后的基础模型。当然最重要的是订阅跟随“鲁班模锤”。

Mamba自从出道就一直被拿来和Transformer对比，文章巨多，带着标题的爆炸性字样“颠覆Transfomer”，“全面包围”等等。文章深浅不一，小编认为其背后的设计思路以及演化过程更加重要。为此本专题将从山上有座庙开始，沿着RNN、SSM、S4、HIPPO一路走来。期间抛弃冗杂的文辞，以更接地气的模式协助读者打开新的逻辑思维。

线性RNN

2023年的<Resurrecting Recurrent Neural Networks for Long Sequences>将RNN拉回了赛道。文中提出的LRU通过简单的线性函数替换神经网络，然后在两个自注意力层之间用神经网络连接起来以弥补非线性处理能力的不足。会不会有点拗口，先来看看下面的结构图：

最低0.47元/天 解锁文章
Mamba中的Mamba：在标记化Mamba模型中的集中式Mamba跨扫描高光谱图像分类
AI浩
07-20 1963
高光谱图像（HSI）分类在遥感（RS）领域至关重要，尤其是随着深度学习技术的不断进步。顺序模型，如循环神经网络（RNNs）和Transformer，已被定制用于此任务，并提供了独特的视角。然而，它们面临几个挑战：1）RNNs在聚合中心特征方面存在困难，并且对干扰像素敏感；2）Transformer需要广泛的计算资源，并且在HSI训练样本有限时往往表现不佳。为了解决这些问题，最近的进展引入了状态空间模型（SSM）和Mamba，它们在线性序列处理中以其轻量级和并行扫描能力而闻名，从而在RNNs和Transfor
第四章：RNN
weixin_43891607的博客
06-12 444
RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.一般单层神经网络结构:RNN单层网络结构:以时间步对RNN进行展开后的单层网络结构:RNN的循环机制使模型隐层上一时间步产生的结果, 能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.
（一）线性循环神经网络（RNN）
chuange6363的博客
09-10 384
这篇教程是翻译Peter Roelants写的循环神经网络教程，作者已经授权翻译，这是原文。 该教程将介绍如何实现一个循环神经网络（RNN），一共包含两部分。你可以在以下链接找到完整内容。 （一）线性循环神经网络（RNN） （二）非线性循环神经网络（RNN） 这篇...
[线性RNN系列] Mamba: S4史诗级升级
分享前沿AI技术
07-11 1182
iclr24终于可以在openreview上看预印本了! 这篇（可能是颠覆之作）文风一眼c re组出品；效果实在太惊艳了，实验相当完善，忍不住写一篇解读分享分享
【RNN】什么是线性RNN？
最新发布
TIM的博客
03-11 1116
线性RNN是一种简化的RNN模型，其隐藏状态和输出完全基于线性变换。由于缺乏非线性激活函数，线性RNN的表达能力有限，主要用于理论研究和简单任务。然而，它在理解RNN的基本原理、分析长期依赖问题以及作为基线模型等方面具有重要意义。对于实际应用中的复杂序列建模任务，通常需要使用标准RNN或其改进版本（如LSTM、GRU）。
使用RNN实现回归（16）
CSS360的博客
03-20 3128
（1）简介 关于RNN网络模型的介绍，请看https://blog.csdn.net/CSS360/article/details/88587801 （2）代码 import torch from torch import nn import numpy as np import matplotlib.pyplot as plt # torch.manual_seed(1) ...
（2024，attention，可并行计算的 RNN，并行前缀扫描）将注意力当作 RNN
qq_44681809的博客
05-26 1602
本文提出注意力机制可以被视为特殊的RNN，并引入基于并行前缀扫描解决传统RNN无法高效地用新token更新的问题。Aaren​，一种基于注意力的模块，可像Transformer一样并行训练，还能像RNN一样用新token更新，且仅需固定内存
Mamba：1 从RNN而聊起
鲁班模锤
05-06 842
有些文章偏向技术，有些文章偏向宣媒，小编认为还是需要比较客观独立的来分析它，尤其是其背后设计的思路以及演化的过程更加重要。因此这个小专题将从历史说起，沿着SSM、S4、HIPPO一路走来，期间还会抛弃冗杂的文辞，以更加接地气的方式打开模型设计的思维逻辑。这使得它能够处理不规则采样的数据，具有无限的上下文，并在整个训练和测试过程中保持计算效率。Mamba 在S4范式的基础上进行了扩展，带来了一些值得注意的改进，特别是在时变操作方面。A可以理解为一个矩阵，它是模型的参数，需要被训练得到的。
线性RNN+3D检测！LION: Linear Group RNN for 3D Object Detection in Point Clouds（论文笔记）
m0_73819016的博客
09-06 1186
Transformer在3D点云检测中的优势受到建模远程关系时的二次计算成本的限制。相比之下，线性RNN的计算复杂度较低，适合长程建模。我们提出了一个简单而有效的基于窗口的框架，构建在LInear grOup RNN以实现3D 检测，称为LION。关键属性是允许在比基于转换器的方法大得多的组中进行足够的特征交互。然而，由于线性群RNN在处理空间建模方面的局限性，有效地将线性群RNN应用于高度稀疏点云中的3D对象检测并非易事。为了解决这个问题，我们简单地。
Mamba技术背景详解：从RNN到Mamba一文搞定！
Zishan Shu's blog
03-27 2571
Mamba技术背景详解，希望能给你提供帮助！
【神经网络】学习笔记十七——IRNN：初始化矩阵RNN
杨的博客
10-10 2398
首先对IRNN进行了总的简要介绍，后面进行了原理剖析和为什么引进了IRNN，以及最后总结了它的优点和特点。 目录 一、说在前面 1. 传统RNN的问题 2. IRNN做出的改变 3. 提出的IRNN的重点 二、引入：传统RNN存在的问题 1. 传统RNN存在的问题 2. 改进的LSTM和GRU的问题 3. IRNN的引入 总结 一、说在前面 IRNN（Identity Matrix RNN），初始化RNN，即初始化矩阵循环神经网络。 1. 传统RNN的问题 传统RNN由于在时间.
A Critical Review of Recurrent Neural Networks for Sequence Learning
Duncan_yitong的博客
10-28 713
Abstract 很多学习任务需要输入（时间序列预测、视频分析和音乐信息检索）或输出（图像字幕、语音合成和视频游戏）序列，或两者兼具（自然语言翻译、参与对话和机器人控制等交互式任务）。 循环神经网络可以反映任意长度的上下文窗口，但循环神经网络包含上百万参数难以训练。近期网络结构、技术优化与并行计算的进步使循环神经网络的大规模学习成为可能。 在过去的几年里，基于最先进的长短时记忆(LSTM)和双向递...
【论文阅读】Mamba:选择状态空间模型的线性时间序列建模（二）
weixin_45668967的博客
03-05 1947
我们的简化块设计结合了H3块，H3是大多数SSM结构的基础，有现代神经网络中无处不在的MLP块。因此，虽然选择机制可以被视为架构门控、超网络或数据依赖性等思想的特例，但大量其他结构也可以——基本上是任何具有乘法运算的结构，也包括标准注意力机制，但我们认为这样没有信息量。如在部分3.1讨论的一样，选择性最重要的属性是过滤掉我们不相关的信息以使一个序列模型的内容可以被压缩到哟个有效的状态。选择机制是一个广泛的概念，可以以不同的方式应用，例如在更传统的RNN和CNN，在不同的参数（例如算法2中的。
最近，新技术分享！附源代码
gzq0723的博客
11-23 515
点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式计算机视觉研究院专栏Column of Computer Vision Institute最新最全的技术分享，还有源码、原论文地址分享。【van-gonography：图片隐写工具，将数据文件隐藏在一张图像中】vangonography - Hide your files of any ...
挑战Transformer：全新架构Mamba详解！
CV_Autobot的博客
05-08 6221
作者|绝密伏击 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/684231320点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『Mamba』技术交流群本文只做学术分享，如有侵权，联系删文背景“屹立不倒的 Transformer 迎来了一个强劲竞争者。自 2017 年被提出以来...
mamba的学习记录
weixin_50161877的博客
03-27 1603
最近新出了一种很火的架构mamba，听说吊打transformer，特此学习一下，总结一下学习的内容。3个月8Kstar，确实有点受欢迎。
循环神经网络(Recurrent Neural Network)详解
热门推荐
weixin_60737527的博客
09-30 1万+
循环神经网络RNN的基本原理与基于Pytorch的实现方法
Recurrent Neural Networks 简述
yujianmin1990的专栏
07-29 5102
前言 RNN是序列数据处理时匹配度最好的模型，现在对当前几个重要的RNN模型做个简单梳理。 RNN RNN: Recurrent Neural Network，循环神经网络。我想，当XX当年把RNN结构构造出来时，一定是佩服自己的想象力的。RNN具有天然的时间深度，并且对任意的序列数据场景具有适应性，即当样本间具有相关性时非常适合用RNN来解决。而Forward Network则普遍假设...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值