Transformer架构概述（二）

最新推荐文章于 2024-11-07 17:09:37 发布
最新推荐文章于 2024-11-07 17:09:37 发布
阅读量875 收藏 20
点赞数 19
分类专栏： NLP 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64357419/article/details/142714433
版权

目录

1. Transformer架构概述

1.1 《Attention is All You Need》论文概述

1.2 Transformer的模块组成

1.3 Encoder 和 Decoder 的区别与联系

2. Transformer的并行计算效率相对于RNN的提升

2.1 RNN中的顺序处理问题

2.2 Transformer中的并行化优势

3. Self-Attention机制及其公式

3.1 Self-Attention机制简介

3.2 Self-Attention公式解析

3.3 Attention的工作过程

3.4 Self-Attention的计算过程举例

4. Multi-head Attention的扩展

4.1 Multi-head Attention的工作原理

5. Transformer的实现建议

1. Transformer架构概述

1.1 《Attention is All You Need》论文概述

Transformer模型是Vaswani等人在2017年提出的，旨在通过完全摆脱传统RNN和CNN的结构，依赖于全新的Self-Attention机制来处理序列数据。论文的核心观点是，序列处理不再依赖递归结构（如RNN中的逐步处理），而是通过注意力机制并行处理输入序列。这使得模型在处理长序列时能更有效地捕获全局依赖关系，同时显著提升并行计算的效率。

1.2 Transformer的模块组成

Transformer的整体架构分为Encoder-Decoder结构，每个模块又由多个层级叠加而成。我们首先从整体结构开始，逐步解析其细节：

  1. Encoder部分：

    • 由6个完全相同的子层（layer）堆叠组成，每个子层包含：
      1. Self-Attention层：对输入序列中的每个位置，分别计算该位置与其他所有位置的相关性。
      2. 前馈神经网络（Feed Forward Network, FFN）：对每个位置的注意力输出单独进行非线性变换。
    • 每个子层在Attention和FFN之前都使用了残差连接（Residual Connection）和Layer Normalization，从而避免梯度消失并加速训练。

  2. Decoder部分：

    • 同样由6个子层组成，但与Encoder不同的是，Decoder的每个子层包含了三个模块：
      1. Self-Attention层：和Encoder的Self-Attention相似，但额外加入了mask机制，防止模型看到未来的位置信息（即防止未来词影响当前词的生成）。
      2. Encoder-Decoder Attention层：该模块负责将Decoder的输出与Encoder的输出进行匹配，使生成的词能够参考输入序列的上下文。
      3. FFN：和Encoder一样，使用前馈神经网络进行非线性变换。

  3. 位置编码（Positional Encoding）：由于Transformer结构不具备序列信息，模型需要额外的位置信息。Positional Encoding通过正弦和余弦函数为序列中的每个位置编码，这样可以让模型理解序列的顺序。

1.3 Encoder 和 Decoder 的区别与联系

Encoder和Decoder的功能有所区别，前者主要负责编码输入序列的上下文信息，而后者则将这些上下文信息转化为目标输出序列。两者的联系在于：Decoder中的Encoder-Decoder Attention模块，它能够让Decoder的每一步输出参考Encoder对输入序列的编码结果，从而生成符合上下文的输出。这样一来，Decoder能够生成与输入相关的翻译、摘要等输出。

2. Transformer的并行计算效率相对于RNN的提升

2.1 RNN中的顺序处理问题

传统的RNN（包括LSTM、GRU等）在处理序列数据时，必须逐步处理输入序列中的每一个元素。这意味着RNN模型的计算是串行的，即只能处理当前时间步的数据，等到当前步处理完后才能处理下一个时间步。这种顺序依赖导致了两个问题：

  1. 并行化困难：由于每一步的计算依赖于前一步的结果，难以进行并行处理。
  2. 长程依赖问题：RNN在处理长序列时容易出现梯度消失或梯度爆炸，导致模型无法有效捕捉序列中的长程依赖信息。
2.2 Transformer中的并行化优势

Transformer的设计从根本上解决了RNN的串行问题。在Transformer中，序列中的每个位置都是独立处理的，通过Self-Attention机制并行计算每个位置与其他位置的相关性。具体表现为：

  1. 自注意力机制的并行计算：Attention计算不依赖于前后顺序，而是直接计算输入序列中所有位置之间的相关性。这使得输入序列的所有元素可以在同一时间步并行处理，大大提高了计算效率。
  2. 更好的长程依赖处理：Self-Attention能够在同一层中捕捉输入序列的全局依赖信息，而不是像RNN那样逐步传递信息。因此，Transformer能够更加有效地处理长序列。

3. Self-Attention机制及其公式

3.1 Self-Attention机制简介

Self-Attention机制是Transformer的核心，它通过计算输入序列中的每个位置与其他所有位置的相似度，来捕捉序列中任意位置之间的依赖关系。相比传统的卷积操作（只能处理局部邻域信息）和RNN的递归计算，Self-Attention能够一次性计算整个序列的全局依赖，这使得模型在处理长序列时更为高效。

在Self-Attention中，每个输入向量都会被映射成三个不同的向量：

  • Query (Q)：用于“询问”其他词的信息。
  • Key (K)：用于表示其他词的特征。
  • Value (V)：包含实际的词向量信息。

Attention机制通过计算Query和Key的相似度来决定如何加权各个Value的贡献。公式如下：

3.2 Self-Attention公式解析

Self-Attention的计算公式如下：

3.3 Attention的工作过程

  1. Query与Key的相似度计算： 每个位置的Query会与其他位置的Key进行点积，计算出相似度得分。得分越高，表示Query与该位置的Key越相关，模型在生成输出时就会更多地参考该位置的Value。

  2. Softmax标准化： 相似度得分通过Softmax函数转化为权重，确保所有得分的和为1。这样模型就能够在生成输出时对所有位置进行加权平均，而不是只关注一个位置。

  3. 加权Value： 最后，Attention机制使用这些权重对Value进行加权平均，生成该位置的输出表示。通过Self-Attention机制，模型能够将输入序列中所有位置的信息整合到每个位置的输出表示中。

3.4 Self-Attention的计算过程举例

假设我们有一个简单的输入序列 ["The", "cat", "is", "on", "the", "mat"]。模型会首先为每个词生成对应的Query, Key, 和 Value向量。接下来，Attention机制会计算序列中每个词与其他词之间的相似度：

  • Query("cat") 与所有其他词的Key进行点积，得到每个词的相似度得分。
  • 使用Softmax函数将这些相似度得分转化为权重。
  • 使用这些权重对每个词的Value进行加权平均，最终生成"cat"这个词的上下文表示。

这个过程会对序列中的每个词重复进行，从而使每个词都能捕捉到整个序列的信息。

4. Multi-head Attention的扩展

Self-Attention虽然能够捕捉序列中的全局依赖关系，但单头的Attention可能会局限于特定的子空间。为了解决这一问题，Transformer引入了Multi-head Attention机制，它能够在多个子空间中并行计算Self-Attention。

4.1 Multi-head Attention的工作原理

Multi-head Attention将输入的Query, Key, 和 Value向量分成多个头，每个头独立地计算Attention，并在最后将所有头的输出拼接起来。这样，模型能够从多个不同的角度来捕捉序列中的信息。

公式如下：

 

5. Transformer的实现建议

通过这部分的学习，你应该已经对Transformer的整体架构和Self-Attention机制有了深刻的理解。接下来，你可以尝试自己实现一个简化版的Transformer模型。以下是一些实现步骤的建议：

  1. 实现Self-Attention：

    • 使用PyTorch或者NumPy实现Self-Attention，逐步测试不同模块的输出。

  2. 实现Multi-head Attention：

    • 在实现Self-Attention的基础上，扩展为Multi-head Attention，确保每个头的输出能够正确拼接。

  3. 实现Encoder模块：

    • 实现带有残差连接和Layer Normalization的完整Encoder层，并测试其性能。

通过这种方式，逐步理解并实现Transformer的核心组件，你将对这一架构有更加深入的掌握，帮助你在后续的学习中更加游刃有余。

深度学习客
关注
专栏目录
transformer架构
AI天才研究院
07-25 469
transformer架构 1. 背景介绍 1.1 问题的由来 在过去的几十年里，深度学习技术取得了巨大进步，尤其是在语音识别、自然语言处理、计算机视觉等领域。神经网络架构经历了多次迭代，从浅层到深层，从卷积到循环，再到注意力机制的引入。然而，即使如
Transformer详解，中文版架构图
热门推荐
人工智能曾小健
06-15 1万+
2.2.1 “编码器-解码器”架构Seq2Seq 思想就是将网络的输入输出分别看作不同的序列，然后实现序列到序列的映射，其经典实现结构就是“编码器-解码器”框架。编码器-解码器框架如图 2.7 所示。图2.7 编码器-解码器的基本框架在 Seq2Seq 思想应用于自然语言处理之初，编码器解码器主要使用的是 RNN 及其变体。针对输入，编码器会先遍历输入序列，根据循环神经网络的特性，每一层的输入都包含了当前层的输入和前一层的隐藏状态，而。
大模型Transformer架构详解
qianggezhishen的专栏
08-07 2008
Transformer最初是为了解决序列转换问题或神经机器翻译而开发的，这意味着它们旨在解决将输入序列转换为输出序列的任何任务。这就是为什么它们被称为“Transformer”。最初设计用于序列转换或神经机器翻译任务，Transformer模型在将输入序列转换为输出序列方面表现出色。它是首个完全依靠自注意力机制来计算其输入和输出的表示，而无需依赖于序列对齐的RNN或卷积网络的第一个转换模型。
DETR个人学习笔记（二）之Transformer架构概述
weixin_44303979的博客
05-13 587
下面来了解Transformer的原理。 首先我们来回顾一下RNN，RNN的encoder做编码的时候对于输入的句子需要一个个的处理。在左边的部分可以看到，在处理句子的时候，我们需要一个词一个词的将词语输入RNN。RNN有梯度消失的问题（vanishing gradient problems）。对于Transformer encoder，它可以把整个句子同时输入编码器，也就是把整个句子并行的处理。使得每个token可以关注到别的token，而不仅是关注到自身。这里的token是指把句子分割成词，或者分割成词
Transformer概述
weixin_42756682的博客
10-23 1741
本文是根据台大李宏毅教授网课整理，主要是记笔记以供自己复习。 这里写目录标题Transformer是什么应用Seq2Seq架构详解EncoderDecoderAutoregressive（AT）Non-autoregressive(NAT)训练exposure bias训练Seq2Seq Model的Tips1、Copy Mechanism复制机制2、Beam Search Transformer 是什么 Transformer其实就是一个Seq2Seq Model（输入是一个序列输出也是一个序列但是长度由
AI - Transformer架构工作原理
Lizzy_Fly的博客
05-24 956
Transformer架构工作原理
transformer 网络概述
我的小天地 ^_^
04-26 635
是为了弥补word2vec的不足，word2vec是采用统一的模式获取每个次的信息，使用的过程中忽略了在不同上下文的重要性，不同的词在不同的上下文中具有不同的重要性，但word2vec做的不好，所以使用self-attension，self-attension针对不同的上下文都做相应的计算，更灵活的获取了上下文信息。分别对应" query,要去查询的；是有半部分图片中的一片，多组是多片，然后concat后利用全连接行程最终的。再做融合降维（参考卷积中的多卷积核），融合可以使用全连接的方式。
大模型核心技术原理: Transformer架构详解
AAI666666的博客
05-08 1656
之所以说 Transformer 架构好，是因为 Transformer 能够解决之前自然语言处理中最常用的 RNN 的一些核心缺陷，具体来看：一是，难以并行化，反向传播过程中需要计算整个序列；二是，长时依赖关系建模能力不够强；三是，模型规模难以扩大。
Transformer架构剖析
AI天才研究院
07-25 814
Transformer架构剖析 关键词： 自注意力（Self-Attention） 多头自注意力（Multi-Head Attention） 前馈神经网络（Feed-Forward Neural Network） 层规范化（Lay
BERT：Transformer架构的文本大师
07-27
#### 一、Transformer架构概述 Transformer是一种基于自注意力机制的神经网络架构，自2017年由Vaswani等人在其论文《Attention Is All You Need》中首次提出以来，在自然语言处理（NLP）领域引发了深刻的变革。起初...
transformer的概述、原理及应用.pdf
07-26
#### 二、Transformer模型架构 ##### 1. 编码器-解码器结构 Transformer模型由编码器和解码器两个主要部分构成。编码器负责处理输入序列并将其转换为中间表示，解码器则利用这些中间表示生成目标序列。这种结构...
深度学习经典模型之LeNet-5
weixin_43775295的博客
11-05 387
​ LeNet-5是由LeCunLeCunLeCun提出的一种用于识别手写数字和机器印刷字符的卷积神经网络（Convolutional Neural Network，CNN）1^{[1]}1，其命名来源于作者LeCunLeCunLeCun的名字，5则是其研究成果的代号，在LeNet-5之前还有LeNet-4和LeNet-1鲜为人知。
LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-07 1116
​ LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 目录 《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 Abstract 1 Introduction Conclusion Limitations and Future Work局限性和未来工作 《Lo
【深度学习】batchsize太大或太小的优缺点，如何平衡batchsize大小
qq_42761751的博客
11-05 344
batchsize的值越大，梯度越稳定，而batchsize越小，梯度越具有随机性，如果batchsize太大，对内存的需求就更高，不利于网络跳出局部极小值点。大的batchsize梯度的计算更加稳定， 在微调的时候，大的batchsize可能会取得更好的结果，因为在一定范围内，batchsize越大，梯度下降方向越准，引起的震荡越小。当 batch size 增大时，每个批次中需同时加载的样本数增多，导致内存占用成倍增长，这会影响硬件资源的利用，特别是在 GPU 上。
一文快速预览经典深度学习模型（一）——CNN、RNN、LSTM、Transformer、ViT
ttrr27的博客
11-05 1052
Hi，大家好，我是半亩花海。本文主要简要并通俗地介绍了几种经典的深度学习模型，如CNN、RNN、LSTM、Transformer、ViT（Vision Transformer）等，便于大家初探深度学习的相关知识，并更好地理解深度学习的基础内容，为后续科研开展建立一定的基础，欢迎大家一起交流学习。
AttriPrompter：基于属性语义的自动提示，用于通过视觉-语言预训练模型实现零样本细胞核检测|文献速递-基于深度学习的病灶分割与数据超分辨率
weixin_38594676的博客
11-06 520
此外，我们提出了一个自训练的知识蒸馏框架，GLIP作为教师模型，利用其初始预测作为伪标签，以应对高密度细胞核检测带来的挑战，包括漏检、误检和实例重叠问题。我们的方法在无标注的细胞核检测中表现出色，优于所有现有的无监督方法，并展现出良好的通用性。目前，大规模视觉-语言预训练模型（VLPMs）通过从大量网络来源的文本-图像对中学习对齐的文本和图像特征，获得了语义丰富、多功能且可迁移的视觉特征，从而催生了新的无监督学习方法。带有“*”标记的方法基于医学图像，而带有“**”标记的方法专门基于 H&E 图像。
CoD-MIL: 基于诊断链提示的多实例学习用于全切片图像分类|文献速递-基于深度学习的病灶分割与数据超分辨率
最新发布
weixin_38594676的博客
11-07 540
受 CoT 提示和病理学家临床知识的启发，我们提出了一种用于全切片图像分类的基于诊断链提示的多实例学习（CoD-MIL）框架。在多实例学习（MIL）中，全切片图像（WSI，即包）W = {Wl, Wh} 被通过无重叠滑动窗口方法裁剪为一系列小块（即实例）P = {Pl ∈ R Nl×N0×N0×3, Ph ∈ R Nh×N0×N0×3}。N0 为小块的尺寸。受自然语言处理中的链式思维提示和病理学家诊断先验的启发，我们的链式诊断文本提示将复杂的诊断过程分解为在全视野图像中从低倍到高倍的系列渐进子过程。
0基础跟德姆（dom）一起学AI 深度学习01-深度学习介绍
chrisfanallin的博客
11-06 590
AI全流程带你玩 0基础带你学人工智能相关软件，讲解机器学习、深度学习、大模型等人工智能领域核心知识。 帮助想了解，或者正在AI赛道成长的你。
循环神经网络RNN文本分类
Python，数据分析，机器学习，深度学习
11-05 148
杀死神经元#实现RNN神经网络的双向构造，用LSTM模型。self.rnn1 = tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(params['rnn_units'], return_sequences=True)) #LSTM维度为200，返回单个 hidden state值。
swin transformer概述
08-11
Swin Transformer 是一种基于Transformer的深度学习模型，用于视觉任务。它解决了原始 Vision Transformer 的一些问题，并成为当前广泛应用于图像分类和对象检测等视觉任务的主干架构。与 Vision Transformer (ViT) 不同，Swin Transformer 在效率和准确性方面表现出色。它引入了两个关键概念，即分层特征图和移动窗口注意力，来解决原始 ViT 面临的问题。Swin Transformer的整体架构如图示所示，其中使用了“patch merging”作为第一个块的名称。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Swin-Transformer 详解](https://blog.csdn.net/wangbingqian_110/article/details/124953433)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

深度学习客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值