[论文笔记]Longformer: The Long-Document Transformer

已于 2024-12-12 21:57:28 修改
阅读量1.8k 收藏 23
点赞数 30
分类专栏： 自然语言处理 论文翻译/笔记 文章标签： 论文阅读 transformer 深度学习
于 2024-05-05 20:25:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjw123456/article/details/138473041
版权

引言

今天带来论文Longformer: The Long-Document Transformer的笔记。

基于Transformer的模型由于其自注意力操作而无法处理长序列，该操作随着序列长度呈二次扩展。为了解决这一限制，本篇工作提出了Longformer，其注意力机制随着序列长度呈线性扩展。同时提出了三种稀疏注意力降低计算复杂度，分别是滑动窗口注意力、扩张滑动窗口注意力和全局注意力。

总体介绍

Longformer是一种改进的Transformer架构，具有一个自注意力操作，其随着序列长度线性扩展，使其适用于处理长文档。其注意力机制结合了窗口化的局部上下文自注意力和端到端任务驱动的全局注意力，编码了关于任务的归纳偏见。

相关工作

image-20240505163349667

长文档Transformer 表1总结了最近关于长文档的先前工作。已经探索了两种自注意力方法。第一种是从左到右(ltr)的方法，逐块处理文档并从左到右移动。虽然这种模型在自回归语言建模中取得了成功，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【GPT】你需要了解的 ChatGPT的技术原理- Transformer架构及NLP技术演进
AI天才研究院
04-06 2万+
作为一种大型语言模型，ChatGPT采用了Transformer架构和自然语言处理（NLP）技术。Transformer架构是一种基于自注意力机制的神经网络架构，由Google在2017年提出。由于传统的循环神经网络(RNN)在处理长序列数据时存在梯度消失和梯度爆炸的问题，而Transformer通过使用注意力机制和自注意力机制来避免这些问题。相比于传统的循环神经网络（RNN）和卷积神经网络（CNN），Transformer架构可以更好地处理长序列数据，并且具有更好的并行性。
Longformer: The Long-Document Transformer
Airstudy的博客
07-25 580
前言： 《Longformer: The Long-Document Transformer》于2020年4月发表，相较于Transformer，Longformer利用local attention和global attention在长文本任务的处理上大大减低了时间负责度和空间负责度。 论文：https://arxiv.org/pdf/2004.05150.pdf 源码：https://github.com/allenai/longformer 摘要 基于Transformer的模型不能处理长文本，因为其
Longformer: The Long-Document Transforme
qq_59482564的博客
12-14 621
基于 Transformer 的模型由于其自注意力操作而无法处理长序列，自注意力操作与序列长度呈二次方缩放。为了解决这个限制，我们引入了带有注意力机制的 Longformer，该机制随序列长度线性扩展，从而可以轻松处理数千个标记或更长的文档。Longformer 的注意力机制是标准自注意力的直接替代品，并将局部窗口注意力与任务驱动的全局注意力结合起来。继之前关于长序列转换器的工作之后，我们在字符级语言建模方面评估了 Longformer，并在 text8 和 enwik8 上取得了最先进的结果。
自然语言处理 | 长文本处理难题怎么解？Longformer 给出了什么答案？
最新发布
紫雾凌寒
03-26 948
本文论述了Longformer 通过创新的注意力机制，成功突破了传统 Transformer 在长文本处理上的瓶颈，为长文本处理提供了高效且实用的解决方案。它的出现，使得我们能够更加深入地分析和理解大规模的文本数据，在多个领域展现出巨大的应用潜力。
Longformer The Long-Document Transformer
Jeaksun的博客
03-05 696
Longformer: The Long-Document Transformer Abstract BERT-base无法处理长文本序列，因此注意力操作与序列长度成平方关系，本文提出了一种新的注意力计算方法用于解决这个问题，使得平方关系变成线性关系，能够处理更长的文本序列，具体来说，通过空洞卷积的思想将局部窗口注意力和全局注意力结合，本文称之为Longformer。 1 Introduction Transformer的成功在一定程度上归功于自注意力的计算，能够使网络从整个序列中捕获上下文信息，但是也存.
《Longformer: The Long-Document Transformer》（）论文阅读
qq_34372112的博客
09-24 586
前言 论文地址：https://arxiv.org/pdf/2004.05150.pdf 代码地址：https://github.com/allenai/longformer 1、Introduction 虽然 self-attention 的效果很好，但是它所需要的内存和算力会随序列呈平方增长。现在的方法大多是将上下文缩短或者划分为较小的序列，以限制这些序列再512的长度内。 为了解决这个问题，提出了 Longformer。 它包含局部 attention 和全局的 attention。 2、Rela
Transformer变体层出不穷，它们都长什么样？
lvlei19911108的博客
06-16 322
不知不觉 Transformer 已经逐步渗透到了各个领域，就其本身也产生了相当多的变体，如上图。本篇文章想大致按照这个图，选一些比较精彩的变体整理，话不多说直接开始。 Transformer-XL 论文标题：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context收录会议：ACL 2019论...
《自然语言处理-基于预训练模型的方法》笔记
github_34349558的博客
08-13 5651
《自然语言处理-基于预训练模型的方法》笔记 文章目录《自然语言处理-基于预训练模型的方法》笔记@[toc]〇.写在前面一、绪论(一) NLP 任务体系I.任务层级II.任务类别III.研究层次(二) 预训练的时代二、NLP 基础(一) 文本表示I.独热向量II.分布式表示III.词嵌入表示IV.词袋表示(二) NLP 任务I.语言模型II. 基础任务III. 应用任务(三) 基本问题I. 文本分类问题II. 结构预测问题III. 序列到序列问题(四) 评价指标I. 标准答案明确的情况II. 标准答案不明确的
[Longformer]论文实现：Longformer: The Long-Document Transformer
bigcrab的博客
12-13 1988
论文中提出了三种模型，一种是类似于`BERT`，利用滑动窗口注意和全局注意处理长文本序列；一种类似于`GPT`，利用膨胀滑动窗口注意抓取上下文获取长文本序列；一种是 `Longformer-Encoder-Decoder(LED)`，利用类似于`BERT`的机制做`encoder`，利用全注意力机制做`decoder`的`seq2seq`架构，在`arXiv`上超过了`bigbird`取得了`SOTA`
longformer:加长型
03-20
Longformer Longformer和LongformerEncoderDecoder LongformerEncoderDecoder (LED)是用于长文档的预训练变压器模型。 ***** 2020年12月1日新版：LongformerEncoderDecoder ***** LongformerEncoderDecoder (LED)模型现在可用。它支持长输入的seq2seq任务。使用渐变检查点，fp16和48GB gpu，输入长度最多可达到16K令牌。检查更新的纸张以获取模型的详细信息和评估。 训练有素的模型：1） 16384，2） 要求：确保使用的huggingface /变压器在叉指定requirements.txt 。它增加了对梯度检查点的支持，并允许输入和输出具有不同的最大序列长度。您还可以运行pip install git+https://github.c
Longformer: The Long-Document Transformer翻译
nopSled
06-01 1017
摘要 1.介绍 2.相关工作
Longformer论文解读: The Long-Document Transformer
习惯与规则决定命运
09-13 2779
文章目录Longformer要解决什么问题Longformer怎么解决固定窗口跳跃滑动窗口全局注意力实现细节实验结果实验自回归语言模型text8的消融实验WikiHop的消融实验Qa任务 Longformer要解决什么问题 原始transformer有O(n^2)时间空间复杂度(根据attention的公式，每个位置的Query都需要关注每个位置的Key)，n是输入文本的长度。长文档时，原始transformer的复杂度太高。对于长文档，通常做法切分文档（单块限制在512内）切分的文档之间没有交互信息，这
Longformer详解
mathor的博客
11-13 9710
Introduction Longformer是一种可高效处理长文本的模型，出自AllenAI 2020年4月10日。目前已经开源，而且可以通过huggingface快速使用 传统Transformer-based模型在处理长文本时存在一些问题，因为它们均采用"我全都要看"型的attention机制，即每一个token都要与其他所有token进行交互，无论是空间还是时间复杂度都高达O(n2)O(n^2)O(n2)。为了解决这个问题，之前有些工作是将长文本切分为若干个较短的Text Segment，然后逐个处
【原理】预训练模型之长序列建模--Longformer
m0_63642362的博客
11-12 2180
讲解预训练模型之长序列建模的改进：Longformer
Longformer论文解读和代码解析
菜比的博客
10-15 3861
前言 这篇博文记录了longformer论文的主要思想、代码实现和结果复现方面的一些工作，相关链接如下： 原longformer论文地址 github上原作者公开的代码 huggingface上原作者编辑的longformer模块 原论文解读 其实transformer-xl已经突破了transformer对处理文本长度的限制，那longformer的意义是什么呢？原作者的解释是这样的： transformer-xl处理长文本时按从左到右的方式自回归处理，这样每一个segment只能看到其所在的segme
Visformer: The Vision-friendly Transformer
09-25
Visformer是一种名为"Vision-friendly transformer"的新架构，它是基于transformer和基于卷积的模型之间的过渡。Visformer在相同的计算复杂度下，在图像分类精度方面优于传统的基于transformer和基于卷积的模型。特别是在模型复杂度较低或训练数据有限的情况下，Visformer的优势更加显著。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愤怒的可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值