Transformer详解和知识点总结

已于 2024-05-10 17:19:36 修改
阅读量799 收藏 19
点赞数 13
分类专栏： Transformer 文章标签： transformer 深度学习 人工智能
于 2024-04-10 21:00:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BigerBang/article/details/137609708
版权

目录

论文：https://arxiv.org/abs/1706.03762
李沐B站视频：https://www.bilibili.com/video/BV1pu411o7BE/?spm_id_from=333.788&vd_source=21011151235423b801d3f3ae98b91e94
D2L: https://zh.d2l.ai/chapter_attention-mechanisms/index.html
知乎讲解：https://zhuanlan.zhihu.com/p/639123398

1. 注意力机制

注意力机制由三个重要组成部分：query, key, value, query和key通过注意力评分函数计算出注意力权重，用于对value进行加权平均，得到最后的输出，如下图所示：
请添加图片描述
举例:
如果：
key的维度为（m, k），表示有m个key，每个key的向量维度为k;
value的维度为（m，v）, 表示有m个value（key和value的个数一定相同），每个value的向量维度为v；
那么给定一个query的维度为（q）, 那么通过注意力评分函数W(query, key)将得到一个维度为（m）的权重向量， 这个权重向量与value相乘，就完成了每个特征的加权求和，得到的维度为（v）。
当然也可以一个求多个query的结果，比如query是（n,q）, 最后得到的结果维度就是(n, v);

1.1 注意力评分函数

常用的注意力评分函数有两种：加性注意力（Additive Attention）和 点积注意力 （Dot-Product Attention），Transformer这篇论文采用的是缩放点积注意力（Scaled Dot-Product Attention），就是在点积注意力的基础上加入一个缩放；

  • 加性注意力
    当查询和键是不同长度的矢量时，可以使用加性注意力作为评分函数。
    请添加图片描述

    先使用两个全连接层，将query和key统一到相同长度，然后将每一个query都和每一个键相加，再经过一个线性映射得到注意力权重

  • 缩放点积注意力

    请添加图片描述

    请添加图片描述

  • 为什么要缩放？

    1. 当dk的值比较小的时候，这两个机制的性能相差相近，当dk比较大时，加法attention比不带缩放的点积attention性能好。我们怀疑，维度dk很大时，点积结果也变得很大，那么某些向量中间的注意力分数将占绝对主导地位，将softmax函数推向具有极小梯度的区域。为了抵消这种影响，我们将点积缩小1/sqrt(dk)倍。
    2. 假设query和Key的所有元素都是独立的随机变量，并满足零均值和单位方差，那么两个向量点积的均值为0，方差为d（d为向量维度）。为保证点积的方差仍是1，那么就要将点积除以sqrt(d)

1.2 多头注意力（Multi-head self-attention）

请添加图片描述

  • 类似于卷集中的多通道，可学习到不同模式

    1. 增加可学习的参数：本身缩放点积注意力是没什么参数可以学习的，就是计算点积、softmax、加权和而已。但是使用Multi-head attention之后，投影到低维的权重矩阵W_Q, W_K, W_V是可以学习的，而且有h=8次学习机会。
    2. 多语义匹配：使得模型可以在不同语义空间下学到不同的的语义表示，也扩展了模型关注不同位置的能力。类似卷积中多通道的感觉。例如,“小明养了一只猫,它特别调皮可爱,他非常喜欢它”。“猫”从指代的角度看,与“它”的匹配度最高,但从属性的角度看,与“调皮”“可爱”的匹配度最高。标准的 Attention 模型无法处理这种多语义的情况。
    3. 注意力结果互斥：自注意力结果需要经过softmax归一化,导致自注意力结果之间是互斥的,无法同时关注多个输人。 使用多组自注意力模型产生多组不同的注意力结果，则不同组注意力模型可能关注到不同的输入，从而增强模型的表达能力。

  • 多头注意力对计算量没有影响

    多头注意力的每个头单独通过矩阵运算进行注意力计算，也可以合并成一次矩阵运算

2. Layer norm

从下面两幅示意图可以清楚的理解Layer norm以及其和Batch norm等normalization模块的区别；

下图截取自何凯明在MIT的演讲PPT：

请添加图片描述

下图截取自沐神B站视频，蓝色是BN，黄色是LN

请添加图片描述

可以这么理解，BN是针对每个特征，对所有的样本计算均值和方差；而LN是针对每个样本，对这个样本的所有特征计算均值和方差；

如果输入的shape为（B, C, H, W），那么BN的均值和方差的维度是（1，C, 1, 1）, 计算机视觉中的LN的均值和方差维度为（B， 1， 1， 1）， transformer中的均值和方差维度为（B，1, H, W），instance norm的均值和方差维度为（B， C， 1， 1）， group norm 的均值和方差维度为（B， C/m, 1, 1）

  • 为什么不使用batch norm?

    请添加图片描述

为什么这里使用LN而不是BN？

  • 计算变长序列时，每个Batch中的序列长度是不同的，如上图的蓝色示意图，这样在一个batch中做均值时，变长序列后面会pad 0，这些pad部分是没有意义的，这样进行特征维度做归一化缺少实际意义。
  • 序列长度变化大时，计算出来的均值和方差抖动很大。
  • 预测时使用训练时记录下来的全局均值和方差。如果预测时新样本特别长，超过训练时的长度，那么之前记录的均值和方差可能会不适用，预测会出现问题。

而Layer Normalization在每个序列内部进行归一化，不存在这些问题：

  • NLP任务中一个序列的所有token都是同一语义空间，进行LN归一化有实际意义
  • 因为实是在每个样本内做的，序列变长时相比BN，计算的数值更稳定。
  • 不需要存一个全局的均值和方差，预测样本长度不影响最终结果。

3. 模型结构

请添加图片描述

大多数的机器翻译网络都是这种encoder-decoder架构

  • Inputs 和 Outputs

    本篇文章做的是机器翻译任务，比如若是完成中译英问题，inputs则是中文句子，outputs是英文翻译结果；

    在翻译时采用的是auto-regressive，也就是网络在翻译当前词的时候不仅使用中文句子的信息，也会将已经翻译出来的英文单词的信息作为输入，提取其中的信息预测下一个词；

    At each step the model is auto-regressive [10], consuming the previously generated symbols as additional input when generating the next.

  • Embedding

    将输入和输出的token转成具有d_model维度的向量；

    we use learned embeddings to convert the input
    tokens and output tokens to vectors of dimension d_model.

  • 位置编码 Positional Encoding

    Attention计算时本身是不考虑位置信息的，这样序列顺序变化结果也是一样的。所以我们必须在序列中加入关于词符相对或者绝对位置的一些信息。

    为此，我们将“位置编码”添加到token embedding中。二者维度相同（例如d_model

    =512），所以可以相加。有多种位置编码可以选择，例如通过学习得到的位置编码和固定的位置编码。

    关于位置编码可学习：https://zh.d2l.ai/chapter_attention-mechanisms/self-attention-and-positional-encoding.html

  • 编码器

    编码器由N=6个相同encoder层堆栈组成。如上图中所示，每个encoder层有两个子层：

    1. multi-head self-attention
    2. FFNN（前馈神经网络层，Feed Forward Neural Network），其实就是MLP，为了fancy一点，就把名字起的很长。

    每个子层的形式可以表达为：LayerNorm(x + Sublayer(x))，其中Sublayer(x)是当前子层的输出, 两个子层都使用残差连接(residual connection)，然后进行层归一化（layer normalization）。

    为了简单起见，模型中的所有子层以及嵌入层的向量维度都是d_model=512（如果输入输出维度不一样，残差连接就需要做投影，将其映射到统一维度）。（这和之前的CNN或MLP做法是不一样的，之前都会进行一些下采样）

    这种各层统一维度使得模型比较简单，只有N和d_model两个参数需要调。这个也影响到后面一系列网络，比如bert和GPT等等。

  • 解码器

    解码器：解码器同样由 N=6个相同的decoder层堆栈组成，每个层有三个子层。

    1. Masked multi-head self-attention：解码器里，Self Attention 层只允许关注到输出序列中早于当前位置之前的单词。具体做法如下图所示：在 Self Attention 分数经过 Softmax 层之前，使用attention mask，屏蔽当前位置之后的那些位置。所以叫Masked multi-head self Attention。（对应masked位置使用一个很大的负数-inf，使得softmax之后其对应值为0）

      请添加图片描述

    2. Encoder-Decoder Attention ：也就是解码器中的第二个MHA层，这一个MHA的query是解码器的上一输出，key和 value都来自编码器输出最终向量，用来帮解码器把注意力集中中输入序列的合适位置。

    3. FFNN：依然是MLP层

4. Attention在Transformer中三种形式的应用

  • multi-head self attention：标准的多头自注意力层，用在encoder的第一个多头自注意力层。所有key，value和query来自同一个地方，即encoder中前一层的输出。在这种情况下，encoder中的每个位置都可以关注到encoder上一层的所有位置。
  • masked-self-attention：用在decoder中，序列的每个位置只允许看到当前位置之前的所有位置，这是为了保持解码器的自回归特性，防止看到未来位置的信息
  • encoder-decoder attention ：用于encoder block的第二个多头自注意力层。query来自前面的decoder层，而keys和values来自encoder的输出memory。这使得decoder中的每个位置都能关注到输入序列中的所有位置。
BigerBang
关注
  • 13
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习笔记之Transformer(二)关于注意力分数的总结
静静的学习就好
06-14 1043
上一节介绍了注意力机制的基本逻辑。本节作为过渡文章，归纳注意力分数这个概念。
Attention Model（mechanism） 的 套路
BVL的博客
11-07 3万+
最近刷了一些attention相关的paper(照着here的列表+自己搜的paper)，网上相关的资料也有很多，在此只讲一讲自己对于attention的理解，力求做到简洁明了。一.attention 的本质 attention其实就是一个加权求和。 attention处理的问题，往往面临的是这样一个场景： 你有kk个dd维的特征向量hi(i=1,2,...,k)h_i (i=1,2,...
Transformer模型详解
weixin_49376454的博客
05-28 1718
Transformer模型详解（人工智能）
详解注意力机制和Transformer
zyw2002的博客
01-31 8899
本文的学习路线： 📍 Attention 从生物学的角度引入到计算机视角，介绍了什么是Attention ▶️介绍Encoder-Decoder框架 (目前大部分Attention Model都是依附于该框架实现)▶️ 介绍了Attention模型中的基础概念查询、键和值 ▶️ 通过讲解Nadaraya-Watson核回归模型来了解常见的注意力汇聚模型 ▶️ 介绍了Attention Model中两个常用的注意力评分函数 ▶️ 从基础的Attention引入到Self-Attention 和Multihe
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
路人贾的博客
04-17 7万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
【Attention九层塔】注意力机制的九重理解
Kaiyuan_sjtu的博客
06-21 4305
本文作者：电光幻影炼金术研究生话题Top1，上海交大计算机第一名，高中物理竞赛一等奖，段子手，上海交大计算机国奖，港中文博士在读https://zhuanlan.zhihu.com/p/3...
史上最小白之Transformer详解
热门推荐
Tink1995的博客
03-27 31万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
Exploring-Transformer-Basics.pdf
最新发布
07-02
以下是关于“Exploring Transformer Basics”文档中的关键知识点总结。 ### 标题：Exploring Transformer Basics #### 变压器简介 变压器是一种利用电磁感应原理来改变交流电压水平的设备。它通常由三个主要部分...
菊安酱的大模型详解课件
06-28
### 菊安酱的大模型详解课件知识点总结 #### 一、大模型的基本概念 - **定义**：大模型（LLM，Large Language Model）指的是具有庞大参数量（数十亿至数千亿个参数）的自然语言处理（NLP）模型。这类模型通过大量...
asp.net知识库
06-18
Oracle中PL/SQL单行函数和组函数详解 mssql+oracle Oracle编程的编码规范及命名规则 Oracle数据库字典介绍 0RACLE的字段类型 事务 CMT DEMO（容器管理事务演示） 事务隔离性的一些基础知识 在组件之间实现事务和异步...
Cognos开发过程详解与软件介绍.pptx
09-22
以下是对Cognos开发过程详解与软件介绍的主要知识点： 1. **Cognos系列软件**： - **Impromptu**：这是一个数据查询和即席报表生成工具，允许用户根据自己的需求定制和更新报表，通过Catalog将复杂的数据库结构...
吴恩达ChatGPT课程总结.zip
05-11
课程可能会涵盖以下关键知识点： 1. **语言模型基础**：介绍什么是语言模型，如何衡量其性能（如困惑度），以及它们在自然语言处理任务中的作用，如机器翻译、文本生成和对话系统。 2. **Transformer架构**：详解...
MATLAB读和写xml文件
08-04
### MATLAB读和写XML文件知识点详解 #### 一、引言 XML（可扩展标记语言）是一种用于存储和传输数据的标准格式，它以其强大的结构化数据表示能力而被广泛应用于各种场景。MATLAB作为一种功能强大的数学计算软件，在...
mda的相关知识，英文版的
04-24
本篇文章将基于一份关于ArcStyler MDA-Business Transformer Modeling Style Guide for ARIS的文档进行知识点总结。 #### 二、ArcStyler MDA-Business Transformer for ARIS ArcStyler MDA-Business Transformer ...
Transformer、多头注意力机制学习笔记：Attention is All You Need.
zcsdn1996的博客
10-22 1万+
文章目录 相关参考连接： https://blog.csdn.net/hpulfc/article/details/80448570 https://blog.csdn.net/weixin_42398658/article/details/90804173 https://blog.csdn.net/jesseyule/article/details/101633159 论文讲解： https://www.jianshu.com/p/25fc600de9fb https:..
transformer：self-attention 自注意力机制详解
m0_37347812的博客
03-18 1458
self-attention 计算过程 Thinking 和 Machines是同一组输入（同一句话）中的某两个输入（某两个单词），x是上下文无关的词向量 1. 根据原词向量依次计算queries，Keys，Values 其中，WQ，WK，W^V是待训练的参数 2. 计算scores 每个q_i都算出n个score，即(1,n)的scores向量 其中，d_k是超参数（这里取64），为了让后面的计算中具有稳定的梯度 3. 计算（能句子中的长依赖关系）的新向量 对于某个词向量，softmax（sco
Cognos10_Business_Intelligence_安装和配置
07-18
### Cognos 10 Business Intelligence 安装与配置知识点详解 #### 一、概述 IBM® Cognos® BI 10.1.0 是一款先进的商务智能平台，能够帮助企业用户通过各种方式分析和展示数据。为了充分发挥其功能，正确的安装与...
Transformer 详解
12-15
Transformer 是一种用于自然语言处理任务的深度学习模型，它是由 Google 在 2017 年提出的。相比于传统的循环神经网络和卷积神经网络，Transformer 采用了全新的 Encoder-Decoder 架构，使用了自注意力机制（Self-Attention Mechanism）来处理输入序列，从而在机器翻译、文本摘要、对话生成等任务上取得了很好的效果。 Transformer 本质上是一个 Encoder-Decoder 架构，其中 Encoder 和 Decoder 都是由多个相同的层堆叠而成。每个层都包含了两个子层，分别是 Multi-Head Attention 和 Feed Forward Neural Network。其中 Multi-Head Attention 是 Transformer 的核心，它使用了自注意力机制来计算输入序列中每个词与其他词之间的关系，从而更好地捕捉上下文信息。 Transformer 的训练过程分为两个阶段：第一阶段是无监督的预训练，使用大量的无标注数据来训练模型；第二阶段是有监督的微调，使用有标注的数据来微调模型，使其适应特定的任务。 下面是一个简单的 Transformer 模型的实现代码： ```python import torch import torch.nn as nn import torch.nn.functional as F class Transformer(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers, num_heads, dropout): super().__init__() self.embedding = nn.Embedding(input_dim, hidden_dim) self.encoder_layers = nn.ModuleList([EncoderLayer(hidden_dim, num_heads, dropout) for _ in range(num_layers)]) self.decoder_layers = nn.ModuleList([DecoderLayer(hidden_dim, num_heads, dropout) for _ in range(num_layers)]) self.fc_out = nn.Linear(hidden_dim, output_dim) self.dropout = nn.Dropout(dropout) self.scale = torch.sqrt(torch.FloatTensor([hidden_dim])).to(device) def forward(self, src, trg, src_mask, trg_mask): src_len, batch_size = src.shape trg_len, batch_size = trg.shape src_pos = torch.arange(0, src_len).unsqueeze(1).repeat(1, batch_size).to(device) trg_pos = torch.arange(0, trg_len).unsqueeze(1).repeat(1, batch_size).to(device) src = self.dropout((self.embedding(src) * self.scale) + src_pos) trg = self.dropout((self.embedding(trg) * self.scale) + trg_pos) for layer in self.encoder_layers: src = layer(src, src_mask) for layer in self.decoder_layers: trg = layer(trg, src, trg_mask, src_mask) output = self.fc_out(trg) return output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值