Transformer杀疯了！王炸成果荣登Nature，实现无限上下文长度

最新推荐文章于 2025-02-06 14:52:53 发布
最新推荐文章于 2025-02-06 14:52:53 发布
阅读量1.3k 收藏 15
点赞数 5
分类专栏： 人工智能干货 深度学习干货 文章标签： 深度学习 人工智能 机器学习 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/137973326
版权
谷歌推出Infini-attention机制，将内存压缩引入Transformer，允许大模型在有限资源下处理无限长输入，内存压缩比高达114倍。同时，文中概述了其他21种Transformer改进方案，包括Life2vec和Searchformer，展示了在处理长序列和复杂任务方面的创新。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

继DeepMind的新设计MoD大幅提升了 Transformer 效率后，谷歌又双叒开始爆改了！

与之前荣登Nature子刊的life2vec不同，谷歌的新成果Infini-attention机制（无限注意力）将压缩内存引入到传统的注意机制中，并在单个Transformer块中构建了掩码局部注意力和长期线性注意力机制。

这让Transformer架构大模型在有限的计算资源里处理无限长的输入，在内存大小上实现114倍压缩比。(相当于一个存放100本书的图书馆，通过新技术能存储11400本书)

对比几种不同Transformer模型可处理上下文的长度和内存占用情况

目前，关于 Transformer 的改进非常火爆，是当前学术研究的热点之一，有丰富的研究素材和灵感可供我们参考。除Infini-attention外，还有很多Transformer改进方案效果拔群。

本文整理了22篇Transformer最新的改进方案，都是大佬团队出品，开源的都附上了代码方便复现，希望能给各位的论文加加速。

论文原文以及开源代码需要的同学看文末

Infini-attention

最低0.47元/天 解锁文章
留下无限的上下文：揭开Infini-attention的神秘面纱
步子哥的博客
10-03 723
在当今的信息洪流中，如何高效处理长文本数据成为了自然语言处理（NLP）领域的一项重要议题。随着Transformer架构的崛起，基于变换器的大型语言模型（LLMs）凭借其优越的性能脱颖而出，但在面对极长输入序列时却遭遇了上下文长度的“瓶颈”。本文将深入探讨一种名为Infini-attention的创新注意力机制，旨在突破这一局限，使变换器能够处理无限长的输入，同时保证计算和内存的高效利用。
让上下文不再迷失：Infini-attention的奇迹
步子哥的博客
10-03 432
在这个信息爆炸的时代，处理长文本输入的能力显得尤为重要。众所周知，Transformer模型在自然语言处理领域大放异彩，但其在面对无尽的上下文时，却显得有些捉襟见肘。今天，我们将探讨一种名为Infini-attention的新颖注意力机制，它能让Transformer模型在无限长的输入上游刃有余，同时保持计算和内存的有效性。
计算机视觉中的transformer模型创新思路总结
2301_82275412的博客
12-26 1528
本文回顾了ViT的结构，总结了计算机视觉中的transformer的主要改进思路：改进分块，改进位置编码，改进Encoder，增加Decoder。每个思路下都介绍了相关的论文，介绍了这些论文的提出出发点和改进思路。本文的目的不在于介绍transformer现在有哪些模型，而在于学习借鉴别人发现问题并改进的思路，从而在自己方向上提出合适且合理的改进。
结合创新！LSTM+Transformer新成果登Nature，精度高达95.65%
学姐带你玩AI的博客
04-26 1万+
LSTM通过门控机制有效捕捉序列中的长期依赖关系，防止梯度消失或爆炸，在处理具有长期依赖性的时间序列数据时有显著优势。而Transformer通过自注意力和多头注意力机制全面捕捉序列依赖，能够同时考虑输入序列中的所有位置，更好地理解上下文关系，实现高效的并行计算。这种策略结合了两者的优势，在各种序列分析任务中实现了更精确的预测、更好的性能表现、更高的训练效率。比如登上Nature子刊的最新混合架构，以及精度高达95.65%的BiLSTM-Transformer。本文整理了。
从代码到专利：如何用自注意力机制实现高效序列转换？——深度解析Google的Transformer架构
mobingyu的博客
02-06 975
如果你正在开发类似的序列转换模型，或者希望将你的技术创新转化为专利，欢迎联系我，我将为你提供专业的专利挖掘与撰写服务！：在专利申请中，明确Transformer相比RNN/CNN在计算效率、准确性等方面的提升，并提供实验数据支持。：由于摒弃了RNN的序列依赖性，Transformer可以并行处理整个序列，大幅提升训练和推理速度。，通过正弦和余弦函数为每个位置生成唯一的编码，确保模型能够利用序列的顺序信息。：并行运行多个自注意力机制，捕捉不同子空间的信息，增强模型的表达能力。
LSTM又火了！再次杀入视觉！xLSTM一举超越Mamba、Transformer！
阿木寺的博客
06-18 251
今年上半年，LSTM火了！LSTM原作者分别提出xLSTM和Vision-LSTM，解决了以往的局限性。同时，LSTM+Transformer登上Nature；LSTM+CNN、LSTM+Attention等多种混合模型架构纷纷刷新SOTA。LSTM绝对是最近非常好出idea水论文的一个方向。我也整理了最近几年52个LSTM创新思路，全部有对应代码可以复现。已经按照核心原理整理命名，方便查找。今天...
牛了，LSTM+Transformer王炸结合创新，荣登Nature，精度高达95.65%
06-25 2150
模型处理序列数据的能力以及LSTM在捕捉时间序列依赖性方面的优势。- 高准确率：在IEEE-14总线系统上进行的测试显示，XTM模型在检测FDI攻击及其位置方面，相比文献中提到的其他深度学习方法，展现出了更高的性能。- 在IEEE-14总线系统中，考虑了电力系统的时序特性，使用小时和分钟级的传感器数据来训练和评估所提出的模型，实现了接近100%的检测准确率。- 数据集和攻击向量的公开：论文提供了详细的数据集和攻击向量描述，并将它们公开在GitHub上，促进了研究社区的进一步研究和模型验证。
Transformer登上nature，到底凭什么这么火？
深度学习与计算机视觉
06-12 119
AI领域的研究者应该还记得，在 Transformer 诞生后的三年，谷歌将这一自然语言处理届的重要研究扩展到了视觉领域，也就是 Vision Transformer。视觉Transformer（ViT）依靠出色的建模能力，在 ImageNet、COCO 和 ADE20k 等多个基准上取得了非常优异的性能。正如德克萨斯大学奥斯汀分校的计算机科学家 Atlas Wang 说：我们有充分的理由尝试在整...
iTransformer：用于时间序列预测的倒置Transformer
zuiyishihefang的博客
03-19 5025
文章信息论文题目为《ITRANSFORMER: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING》，该文发表于2024ICLR会议上。文章提出了一种倒置Transformer，旨在解决Transformer在长时多变量时间序列预测所遇到的挑战。摘要最近线性预测模型在时间序列领域的发展对基于Transformer架构的改进...
iTransformer
whaosoft143ai的博客
11-05 1378
关于将每个时间步的多变量点嵌入一个（时间）token 的不合理性，研究者从时间序列的反向视角出发，将每个变量的整个时间序列独立嵌入一个（变量）token，这是扩大局部感受野的 patching 的极端情况。值得注意的是，该框架持续改进了各种 Transformer。总体而言，Transformer 平均提升了 38.9%，Reformer 平均提升了 36.1%，Informer 平均提升了 28.5%，Flowformer 平均提升了 16.8%，Flashformer 平均提升了 32.2%。
【LLM & 长文本】Infini-attention：高效无限上下文 Transformer
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
05-21 1626
大型语言模型（LLMs）通过在Transformer架构中引入注意力机制而发生了革命性的变化。这些机制通过使模型能够专注于输入序列的关键部分，从根本上改变了模型理解和生成文本的方式。然而，随着模型变得更加复杂并处理越来越长的序列，出现了诸如注意力窗口和二次复杂度等挑战。为了应对这些问题，无限注意力（Infini-Attention）通过将压缩记忆模块整合到标准Transformer注意力机制中，无限注意力克服了这些限制，同时保持了效率。
【论文阅读】transformer及其变体
unseven的博客
06-29 2242
transformer到底是在干什么，了解它的设计思想，存在哪些缺陷，才是对水文章有帮助的地方。 讲解细节和代码的博客已经有很多了，我们重点整理一下模型设计思路，为什么时至今日还能出这么多成果，就算肉被吃完了，我们是否还能喝到一口汤。
Google力作 | Infini-attention无限长序列处理Transformer
北风吹过的秋
06-02 1205
表2中的数据表明，Infini-Transformer在长上下文语言建模任务上取得了优于Transformer-XL和Memorizing Transformers的结果，同时保持了更低的内存占用。表2中列出了几种不同的模型配置，并展示了它们在不同长度序列上的表现。介绍了Infini-attention，这是一种新的注意力技术，它在传统的注意力机制中加入了压缩记忆(compressive memory)，并在单个Transformer块中集成了masked局部注意力和long-term线性注意力机制。
Transformer模型详细介绍
白话机器学习
03-08 1263
该框架在Transformer上实现了平均38.9%的提升，在Reformer上实现了36.1%的提升，在Informer上实现了28.5%的提升，在Flowformer上实现了16.8%的提升，在Flashformer上实现了32.2%的提升。前馈网络独立应用于变量标记，学习共享和转移的时间序列模式。我们在图5中评估了Transformers和iTransformer在增加回溯长度情况下的性能，发现利用MLP在时间维度上更合理，使得Transformers可以从扩展的回溯窗口中受益，进行更精确的预测。
Transformer成最大赢家！登上Nature子刊
阿木寺的博客
04-19 304
Transformer模型核心优势在于其独特的自注意力机制，这一机制极大地提升了NLP任务的性能。 最近大热的大模型（GPT、Llama等）不仅用Transformer模型统一了对所有nlp自然语言处理工作，也统一了computer vision等多模态领域。 Transformer模型有缺陷，所以大家能够不断的改进它......就在前段时间，丹麦科学家训练了一个基于Transformer的模型，...
Transformer模型原理—论文精读
浩然然然的博客
06-03 3361
今天来看一下Transformer模型，由Google团队提出，论文名为《Attention Is All You Need》。正如标题所说的，注意力是你所需要的一切，该模型摒弃了传统的RNN和CNN结构，网络结构几乎由Attention机制构成，该论文的亮点在于提出了Multi-head attention机制，其又包含了self-attention，接下来我们将慢慢介绍该模型的原理。
Transformer详解
热门推荐
qq_52302919的博客
12-29 7万+
近期Transformer MLP系列模型的出现，增加了CV领域的多样性。但是Transformer这一不同领域的模型对学习者来说需要一个细致的学习过程.下面就是本菜鸟总结学习路线。
iTransformer（论文总结）
qq_43260170的博客
04-23 948
从注意力层出来后，做一个残差连接，之后进入到LayerNorm做一个归一化操作，这样可以解决非平稳问题，减少不同度量造成的差异，之后会经过一个前馈神经网络，从前馈神经网络出来后，再进行一次残差连接，最后再经过一个LayerNorm层，将预测结果输出。这个图主要是对比了Transformer和iTransformer的区别，首先对于Transformer来说，在多变量时间序列预测中，会在同一时间提取多个变量的值组成一个向量，然后再这个向量上嵌入时间标记，然后经过编码器和解码器得到预测值。
【PaperInFive-时间序列预测】iTransformer:转置Transformer刷新时间序列预测SOTA(清华)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
06-03 1521
本文提出iTransformer，无需修改任何模块，倒置建模多变量时间序列，将变量的整条序列独立地映射为词（Variate Token）。以变量为主体，通过注意力机制自然地挖掘以词为单位的多变量关联。此外，Transformer的前馈网络和层归一化互相配合，消弭变量测量单位之间的范围差异，学习适合于时序预测的序列特征。
transformer创新
最新发布
02-15
### Transformer 架构的创新应用 #### 在自然语言处理中的扩展应用 Transformer 已经应用于语言建模任务，比如预测序列中的下一个词。相较于传统的基于RNN模型，这种架构展示了更高的效率和准确性[^1]。 ```python import torch.nn as nn class TransformerModel(nn.Module): def __init__(self, vocab_size, d_model, nhead, num_encoder_layers, num_decoder_layers): super(TransformerModel, self).__init__() self.transformer = nn.Transformer(d_model=d_model, nhead=nhead, num_encoder_layers=num_encoder_layers, num_decoder_layers=num_decoder_layers) self.embedding = nn.Embedding(vocab_size, d_model) def forward(self, src, tgt): src_emb = self.embedding(src) tgt_emb = self.embedding(tgt) output = self.transformer(src_emb, tgt_emb) return output ``` #### 模型微调技术的进步 混合式参数高效微调（PEFT）方法结合了LoRA、Prefix-tuning以及Adapter的优势，进一步提升了特定领域内迁移学习的效果。通过引入神经架构搜索(NAS)，可以自动探索最优的PEFT配置方案来适应不同的应用场景需求[^3]。 #### 跨域机器人控制策略转移 对于物理世界中的机器人控制系统而言，《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》探讨了一种新的思路——即通过对模拟环境中动态特性的随机化处理实现从仿真环境向真实世界的无缝过渡，这同样体现了Transformers背后思想的一种延伸和发展方向之一[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值