【神经网络学习日记(7)】Transformer的应用（BERT、Longformer、LLM）

已于 2024-10-02 12:36:39 修改
阅读量1.2k 收藏 19
点赞数 26
文章标签： 神经网络 transformer bert 自然语言处理 人工智能
于 2024-09-17 13:30:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Spark_lr/article/details/142313794
版权

文章目录

本文是笔者进行神经网络学习的个人学习日记

图片和链接均源自网络，侵删

1 BERT

BERT的预训练阶段包括两个任务，一个是Masked Language Model，还有一个是Next Sentence Prediction。

1.1 Masked Language Model

MLM可以理解为完形填空，会随机mask每一个句子中15%的词，用其上下文来做预测，例如：my dog is hairy → my dog is [MASK]

但是该方法有一个问题，因为是mask15%的词，其数量已经很高了，这样就会导致某些词在fine-tuning阶段从未见过，为了解决这个问题，作者做了如下的处理：

  • 80%的时间是采用[mask]：my dog is hairy → my dog is [MASK]
  • 10%的时间是随机取一个词来代替mask的词：my dog is hairy -> my dog is apple
  • 10%的时间保持不变：my dog is hairy -> my dog is hairy

在任何一个词都有可能是被替换掉的条件下，强迫模型在编码当前时刻不能太依赖于当前的词，而是要考虑它的上下文，甚至根据上下文进行纠错。

1.2 Next Sentence Prediction

选择一些句子对A与B，其中50%的数据B是A的下一条句子，剩余50%的数据B是语料库中随机选择的，学习其中的相关性。其输入形式是，开头是一个特殊符号[CLS]，然后两个句子之间用[SEP]隔断，例如：

  • Input = [CLS] the man went to [MASK] store [SEP]he bought a gallon [MASK] milk [SEP]
    Label = IsNext
  • Input = [CLS] the man [MASK] to the store [SEP]penguin [MASK] are flight ##less birds[SEP]
    Label = NotNext

1.3 输入

BERT的输入可以是单一的一个句子或者是句子对，输入词向量是三个向量之和：

  • Token Embedding：WordPiece tokenization subword词向量。
  • Segment Embedding：表明这个词属于哪个句子（NSP需要两个句子）。
  • Position Embedding：学习出来的embedding向量。

image.png

1.4 输出

  1. last_hidden_state：torch.FloatTensor类型的，最后一个隐藏层的序列的输出。大小是(batch_size, sequence_length, hidden_size)，sequence_length是我们截取的句子的长度，hidden_size是768。
  2. pooler_output：torch.FloatTensor类型的，[CLS]的这个token的输出，输出的大小是(batch_size, hidden_size)。
  3. hidden_states：tuple(torch.FloatTensor)，这是输出的一个可选项，如果输出，需要指定config.output_hidden_states=True，它也是一个元组，它的第一个元素是embedding，其余元素是各层的输出，每个元素的形状是(batch_size, sequence_length, hidden_size)。
  4. attentions：这也是输出的一个可选项，如果输出，需要指定config.output_attentions=True，它也是一个元组，它的元素是每一层的注意力权重，用于计算self-attention heads的加权平均值。

2 Longformer

传统的Transformer模型由于其自注意力机制，处理长序列时会遇到计算和内存效率的问题。具体来说Transformer的自注意力机制计算复杂度为 O ( n 2 ) O(n^2) O(n2)。因此，当序列变长时，计算量和内存需求都会显著增加，难以处理长文本数据。

Longformer通过引入稀疏注意力机制解决了这一问题，使其能够处理更长的文本序列。

2.1 稀松注意力机制

Longformer通过限制每个位置只关注一部分位置，从而降低计算复杂度。主要有以下几种稀疏模式：

  • 滑动窗口注意力（Sliding Window Attention）：

    每个位置只关注其局部窗口内的固定数量位置。例如，一个窗口大小为 w w w的局部窗口注意力机制意味着每个位置只关注其前后 w / 2 w/2 w/2个位置。主要用于构建上下文表示。

  • 膨胀滑动窗口（Dilated Sliding Window）：

    对于Sliding Window，其顶层接受域是 l × w l\times w l×w，如果要增加接受域，可以使用“膨胀”的方法，在窗口之间设置一个gap，大小为 d d d，则接受域就变成了 l × d × w l\times d\times w l×d×w。

  • 全局注意力（Global Attention）：

    对于某些特定的位置，如序列开头的[CLS]标记或一些特别重要的标记，可以使用全局注意力，使这些位置能够关注整个序列中的所有位置。

image.png

2.2 注意力计算

初始化的过程与自注意力相似，输入序列X经过线性变换得到Q、K、V：
Q = X W Q , K = X W K , V = X W V Q = XW_Q, \quad K = XW_K, \quad V = XW_V Q=XWQ​,K=XWK​,V=XWV​

2.2.1 滑动窗口注意力

对于每个位置 i i i，只计算其局部窗口内的注意力得分：
Attention local ( Q i , K j , V j ) = softmax ( Q i K j T d k ) V j \text{Attention}_{\text{local}}(Q_i, K_j, V_j) = \text{softmax}\left( \frac{Q_i K_j^T}{\sqrt{d_k}} \right) V_j Attentionlocal​(Qi​,Kj​,Vj​)=softmax(dk​ ​Qi​KjT​​)Vj​
其中， j j j在窗口 [ i − w / 2 , i + w / 2 ] [i-w/2, i+w/2] [i−w/2,i+w/2]内。

2.2.2 全局注意力

对于选定的全局注意力位置 g g g，计算其与所有位置的注意力得分：
Attention global ( Q g , K , V ) = softmax ( Q g K T d k ) V \text{Attention}_{\text{global}}(Q_g, K, V) = \text{softmax}\left( \frac{Q_g K^T}{\sqrt{d_k}} \right) V Attentionglobal​(Qg​,K,V)=softmax(dk​ ​Qg​KT​)V
合并注意力结果：将局部窗口注意力和全局注意力的结果合并，得到最终的注意力输出。

2.3 Longformer-Encoder-Decoder（LED）

Longformer-Encoder-Decoder（LED）是一种改进的 Transformer 架构，旨在处理长序列的生成任务，例如摘要生成和翻译。它在原始 Transformer 的编码器-解码器架构基础上进行了修改，以支持更长的输入序列。

  • 编码器：LED的编码器部分采用了 Longformer 的局部+全局注意力模式。
  • 解码器：解码器部分则仍然采用全自注意力机制。

3 大语言模型

大语言模型是深度学习的一个分支。使用的是Transformer架构，可以通过微调在特定的下游任务上进一步训练，适应具体任务需求。

3.1 指令微调

一种提高模型在各种任务上表现的策略是指令微调。例如，如果想提高模型的摘要能力，应该构建一个包含摘要指令和相关文本的数据集。在翻译任务中，应包含“翻译这段文本”等指令。这些提示有助于让模型以新的专业方式“思考”，并服务于特定任务。

3.2 全微调（FFT）

即更新模型所有权重的过程，被称为全微调。会产生一个具有更新权重的新模型版本。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。

3.3 参数高效微调（PEFT）

PEFT（Parameter-Efficient Fine-Tuning）技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解预训练模型的训练成本。因此，PEFT技术可以在提高模型效果的同时，大大缩短模型训练时间和计算成本，让更多人能够参与到深度学习研究中来。

PEFT技术包括LORA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning及P-Tuning v2等。

  • 适配器调优（Adapter Tuning）：

    在每一层Transformer中插入小型适配器模块，只微调这些适配器的参数，而保持原始模型参数不变。这些适配器通常是一些小型的前馈神经网络，它们通过调整特定层的输出来适应特定任务。

  • 低秩适应（Low-Rank Adaptation, LoRA）：

    这种方法通过在预训练模型的特定层中添加低秩矩阵，只微调这些低秩矩阵的参数。这种方法利用了低秩矩阵能够有效捕捉数据的低维结构，从而实现参数高效的微调。

  • 偏置微调（BitFit）：

    只调整模型中的偏置参数，而保持权重参数不变。虽然只调整了少量参数，但在许多任务中，这种方法已经证明能够取得良好的效果。

  • 前缀调优（Prefix Tuning）：

    在输入序列的前面添加一些可学习的前缀，并且只微调这些前缀参数。这种方法适用于生成任务和需要长序列输入的任务。

  • 提示调优（Prompt Tuning）：

    类似于Prefix Tuning，但在输入序列的特定位置插入可学习的提示词，并且只微调这些提示词的参数。这种方法特别适用于少样本学习和零样本学习任务。

image.png

2024年大语言模型（LLM）微调方法最全总结！_大模型微调：https://blog.csdn.net/weixin_59191169/article/details/138133132

一文读懂大语言模型：https://blog.csdn.net/m0_49711991/article/details/135752379

个人神经网络学习日记：
【神经网络学习日记(1)】神经网络基本概念
【神经网络学习日记(2)】全连接神经网络（FCNN）及Pytorch代码实现
【神经网络学习日记(3)】卷积神经网络（CNN）
【神经网络学习日记(4)】循环神经网络（RNN、LSTM、BiLSTM、GRU）
【神经网络学习日记(5)】数据加载器（DataLoader）的调用
【神经网络学习日记(6)】Transformer结构详解
【神经网络学习日记(7)】Transformer的应用（BERT、Longformer、LLM）
【神经网络学习日记(8)】一些图神经网络的简单介绍（GCN、GAT、rGCN）

文中引用部分都尽可能写出了，如果有侵犯其他人文章版权的问题，请务必联系我，谢谢！

Spark_lr
关注
Transformer与图神经网络的融合与应用
AI天才研究院
04-29 776
近年来，深度学习技术在各个领域取得了显著的进展。其中，Transformer模型和图神经网络（Graph Neural Networks, GNNs）是两个备受关注的研究方向。Transformer最初应用于自然语言处理领域，通过自注意力机制实现了并行计算和长距离依赖建模，取得了显著的性能提升。而图神经网络则专注于处理图结构数据，通过对节点信息的聚合和传播，实现了高效的图表示学习和下游任务求解。
Transformer大模型实战 将知识从BERT 模型迁移到神经网络中
AI天才研究院
07-09 480
Transformer大模型实战：将知识从BERT模型迁移到神经网络中 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：知识迁移，BERT，Transformer，神经网络整合
Longformer: The Long-Document Transformer
ayayayayo的博客
11-14 1164
Longformer: The Long-Document Transformer Allen AI 研究院 Abstract Longformer提供了一种attention机制，可以直接作为传统transformer的替代。 Longformer的attention由local window attention + global attention组成。 Task：MLM Dataset：text8 and enwik8 Introduction 动机1: transformer的有效性，但却有平方
Longformer详解
mathor的博客
11-13 9738
Introduction Longformer是一种可高效处理长文本的模型，出自AllenAI 2020年4月10日。目前已经开源，而且可以通过huggingface快速使用 传统Transformer-based模型在处理长文本时存在一些问题，因为它们均采用"我全都要看"型的attention机制，即每一个token都要与其他所有token进行交互，无论是空间还是时间复杂度都高达O(n2)O(n^2)O(n2)。为了解决这个问题，之前有些工作是将长文本切分为若干个较短的Text Segment，然后逐个处
自然语言处理 | 长文本处理难题怎么解？Longformer 给出了什么答案？
紫雾凌寒
03-26 982
本文论述了Longformer 通过创新的注意力机制，成功突破了传统 Transformer 在长文本处理上的瓶颈，为长文本处理提供了高效且实用的解决方案。它的出现，使得我们能够更加深入地分析和理解大规模的文本数据，在多个领域展现出巨大的应用潜力。
Longformer: The Long-Document Transforme
qq_59482564的博客
12-14 631
基于 Transformer 的模型由于其自注意力操作而无法处理长序列，自注意力操作与序列长度呈二次方缩放。为了解决这个限制，我们引入了带有注意力机制的 Longformer，该机制随序列长度线性扩展，从而可以轻松处理数千个标记或更长的文档。Longformer 的注意力机制是标准自注意力的直接替代品，并将局部窗口注意力与任务驱动的全局注意力结合起来。继之前关于长序列转换器的工作之后，我们在字符级语言建模方面评估了 Longformer，并在 text8 和 enwik8 上取得了最先进的结果。
Longformer：处理长文档的Transformer模型
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
01-31 1014
基于Transformer的模型由于自注意力操作的二次复杂度，无法处理长序列。为了解决这一限制，我们引入了Longformer，其注意力机制与序列长度呈线性关系，使其能够轻松处理数千个标记或更长的文档。Longformer的注意力机制是对标准自注意力的直接替代，结合了局部窗口注意力和任务驱动的全局注意力。借鉴先前关于长序列Transformer的研究，我们在字符级语言建模上评估了Longformer，并在text8和enwik8上取得了最先进的结果。
LLM基础之Transformer模型简介.pdf
06-19
模型的Encoder由多个相同的层堆叠而成，每层包括多头自注意力（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Network）。自注意力层允许模型同时考虑所有单词，而多头机制则允许模型关注不同的信息子...
《最完整的大模型LLM底层技术原理入门指南》，本书包括：多层感知器、卷积神经网络、循环神经网络、强化学习等，并重点介绍了Transformer、GPT、BERT等现代语言模型的核心机制
最新发布
04-09
卷积神经网络（CNN） 3. 序列数据处理 循环神经网络（RNN）及其变体（LSTM、GRU） RNN总结 LSTM模型 梯度消失带来的问题 LSTM中的门结构 LSTM中门控机制的具体实现 GRU模型 4. 强化学习（Reinforcement ...
Transformer大模型实战 BERT 的配置
AI天才研究院
08-04 486
Transformer大模型实战 BERT 的配置 1.背景介绍 1.1 自然语言处理的重要性 在当今信息时代,自然语言处理(NLP)已成为人工智能领域中最重要和最具挑战性的研究方向之一。作为人与机器交互的桥梁,NLP
longformer:加长型
03-20
Longformer Longformer和LongformerEncoderDecoder LongformerEncoderDecoder (LED)是用于长文档的预训练变压器模型。 ***** 2020年12月1日新版：LongformerEncoderDecoder ***** LongformerEncoderDecoder (LED)模型现在可用。它支持长输入的seq2seq任务。使用渐变检查点，fp16和48GB gpu，输入长度最多可达到16K令牌。检查更新的纸张以获取模型的详细信息和评估。 训练有素的模型：1） 16384，2） 要求：确保使用的huggingface /变压器在叉指定requirements.txt 。它增加了对梯度检查点的支持，并允许输入和输出具有不同的最大序列长度。您还可以运行pip install git+https://github.c
Longformer：长文档Transformer
YannicKilcher的博客
08-14 286
Longformer: 处理长文档的Transformer变体 Longformer是Transformer的一种变体，专门用于处理长文档。它解决了传统Transformer在处理长文档时存在的局限性。 传统Transformer的局限性： 由于内存限制，传统Transformer只能处理有限数量的token。 处理长文档时，需要将文档分割成多个片段，导致模型无法在神经网络层面上建立片段之间的关...
【原理】预训练模型之长序列建模--Longformer
m0_63642362的博客
11-12 2192
讲解预训练模型之长序列建模的改进：Longformer
【模型论文阅读——Transformer】14.Longformer
isLauraL的记录簿
11-27 776
Longformer: The Long-Document Transformer 论文背景 传统的 Transformer 模型因为有 self-attention 的缘故，所以它的时间和空间复杂度都是O(n2)O(n^2)O(n2)，nnn是输入序列的长度。为了解决这个问题，作者提出Longformer模型。 相关工作 对于Long-document Transformers，目前已经有了一些研究，这些研究提出了两种方法：第一种是left-to-right（ltr）方法，但是它只能处理自回归语言模
[论文笔记]Longformer: The Long-Document Transformer
日积月累，天道酬勤
05-05 1853
⭐ 作者提出随着序列长度线性增长的稀疏注意力机制，并提供了自定义CUDA内核实现。
[Longformer]论文实现：Longformer: The Long-Document Transformer
bigcrab的博客
12-13 2010
论文中提出了三种模型，一种是类似于`BERT`，利用滑动窗口注意和全局注意处理长文本序列；一种类似于`GPT`，利用膨胀滑动窗口注意抓取上下文获取长文本序列；一种是 `Longformer-Encoder-Decoder(LED)`，利用类似于`BERT`的机制做`encoder`，利用全注意力机制做`decoder`的`seq2seq`架构，在`arXiv`上超过了`bigbird`取得了`SOTA`
Longformer: The Long-Document Transformer翻译
nopSled
06-01 1022
摘要 1.介绍 2.相关工作
BERT 和LLM的区别
07-11
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言模型，它利用Transformer架构对文本进行深度学习，特别强调上下文信息的理解。BERT的核心特点是双向的，即它可以同时考虑词语前面和后面的语境。它是Google于2018年发布的，常用于多种自然语言处理任务如问答、文本分类等，并且是许多后续模型的基础。 相比之下，LLM（Large Language Model）通常是指非常大的语言模型，它们拥有数十亿到万亿级别的参数，规模显著超过了BERT。LLMs不仅包括了BERT这样的预训练模型，还包括了大量的自监督训练数据，旨在生成更丰富、更复杂的语言表达。比如，OpenAI的GPT系列（如GPT-3）、M6等都是大型语言模型的例子。LLMs由于其庞大的规模，往往能展现出更强的泛化能力和创造性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值