Transformer: harvardnlp/annotated-transformer 代码理解（一）

已于 2023-07-30 16:22:37 修改
阅读量311 收藏 3
点赞数
分类专栏： NLP + RL 文章标签： transformer 深度学习 人工智能
于 2023-04-24 13:39:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wutongxdf/article/details/130214375
版权

目录

Part I Transformer 论文要点概括

1. SubLayer I：Attention 模块

1.1 self-attention

1.2 Scaled Dot-Product Attention

1.3 Mask

1.4 Multi-Head Attention

2.  SubLayer II：PositionwiseFeedForward 模块

3. 模型总体架构

3.1 Encoder

3.2 Decoder

3.3 Positional Encoding

3.4 Label Smoothing

4. 注意事项

 

论文：Attention Is All You Need

 

参考网络资源：

李宏毅老师的课程：强烈推荐！台大李宏毅自注意力机制和Transformer详解！_哔哩哔哩_bilibili

月来客栈原理解析博客：This post is all you need（上卷）——层层剥开Transformer - 知乎 (zhihu.com)

迷途小书僮：

The Annotated Transformer的中文注释版（1） - 知乎 (zhihu.com)

The Annotated Transformer的中文注释版（2） - 知乎 (zhihu.com)

这篇笔记的目的是为了帮助入不了门自己更好地理解 Transformer 模型的实现细节。

 

Part I Transformer 论文要点概括

 

1. SubLayer I：Attention 模块

1.1 self-attention

自注意力机制就是通过某种运算来直接计算得到句子在编码过程中每个位置上的注意力权重；然后再以权重和的形式来计算得到整个句子的隐含向量表示。

                                                                                       ——月来客栈《This post is all you need》

a59354399e0042d1b80bdebb0ac13264.png

 c34c049e1ff14014a547a7aaa30b7ce4.png

 828658999c344c4c8ff33581f448fdd4.png

 8ca8b65e0f4d416e9b49e15a3273b495.png

 c8129786bcd246aba85d4f999a0d541f.png

 0f72d8559bf94314a00272f8bd305df4.png

 c22f9efbaee443889f83eab279ccea5e.png

 （图片截取自李宏毅老师PPT）

 

 

1.2 Scaled Dot-Product Attention

08da57d389374a2aaa92685b8d790a91.png

8ba48208077445da83c8f5390f6527dd.png

Compatibility Function: 指“兼容性函数”。在这篇论文中，它是指用于计算两个向量之间的相似度的函数。在第3.2节中，论文提到了两种兼容性函数：点积兼容性函数和广义点积兼容性函数。点积兼容性函数是两个向量的点积，而广义点积兼容性函数是两个向量的点积加上一个可学习的偏置项。这些兼容性函数用于计算注意力分布。

 

1.3 Mask

在一般的 self-attention 中，每个 query 都会关注到所有的 key-value 对，然而在进行文本生成等任务时，需要加入 masking 以屏蔽未来信息。例如，在进行机器翻译时，生成每个目标语言单词时，只能使用源语言句子中已经处理过的部分，并且不能使用尚未翻译的部分，因为我们在预测当前位置时不能依赖于其后面的信息。

因此，为了防止训练时模型利用未来信息进行预测，需要在 mask 中将未来的位置标记为不可见。这样就可以有效地将未来的信息屏蔽掉，防止泄露。Masking 将第 i 位之后的的输出换成非常大的负值，经过 softmax 之后就会转换为0（屏蔽第 i 位之后的输出）。

e7d4bf0f86894ac3845cb44136b84dcd.png

 （图片截取自月来客栈《This post is all you need》）

 

 

1.4 Multi-Head Attention

cb9d7622d01942f7acddb23b51bce014.png

 

在 Transformer 模型中，使用 Multi-Head Attention 可以使模型更好地捕捉不同位置的语义信息，并且可以并行化计算以提高效率。

Multi-Head Attention 将输入的向量按照头数进行拆分，并在每个头上执行单独的注意力操作。

Q、K、V被切分后，不同的小矩阵经过了不同的线性层变换，因此可以学习到不同的参数。也就是说，在每个注意力头中，Q、K、V矩阵都是通过不同的模型进行映射的。这样，所有的头都可以学习到不同的特征和关系，从而使模型能够更全面地捕捉输入序列中的信息。

通过这种方式，模型可以同时关注输入中不同位置的信息，以及不同的语义方面（例如，单词之间的依赖关系和句子之间的关系），从而提高了模型对输入的表示能力。

此外，由于每个头都是独立地进行计算的，因此可以并行处理，从而加快了训练和推理速度。

使用多头注意力的优点如下：

  1. 提高模型的表达能力：多头注意力可以同时关注不同位置的信息，使模型能够更好地捕捉不同的特征及其关系。

  2. 减少过拟合的风险：多头注意力将原本需要一个大的注意力矩阵计算的操作分解成多个较小的注意力矩阵计算，从而减少了参数量，避免了过拟合。

  3. 加速训练和推理的速度：多头注意力可以通过并行计算来加速训练和推理的速度。                                                                                                                                  —— ChatGPT

9480e5a0f99a42cabc8a4a242b62bba8.png

 

83817f16811f438aa1e6a7918c8b522a.png

 

 

2.  SubLayer II：PositionwiseFeedForward 模块

fce5cda2b6e74d21930e4710f2f516b0.png

 简单来说，eq?W_%7B1%7D 将 512-D 的 x 投影成 2048-D，eq?W_%7B2%7D 再将其投影回 512-D。

 

 

3. 模型总体架构

09a15190f4254698bafcf471344f7680.png

 

 

3.1 Encoder

Batch normalization (BN): 对于一个 mini-batch 的所有样本，在每个特征维度上计算其均值和方差；

Layer normalization (LN): 对于每一个样本的所有特征进行标准化。

 

3.2 Decoder

19b9c26403364c33bf9d284f19d6511a.png

 832c0115823e4ffebf307978bdeaa059.png

 3aecff4fe1d643418ec846ca66b32961.png

（图片截取自李宏毅老师PPT）

 

 

3.3 Positional Encoding

0f7f684d910a4cc7aa3552ee44b22b75.png

 

位置编码是为了让模型能够区分不同位置的词或字符而引入的。因为在 self-attention 的计算中，所有输入都是独立的向量，没有体现它们在序列中的相对位置信息，如果不加以区分，可能会使 Transformer 模型难以处理含有相对位置信息的序列数据，造成性能下降。    —— ChatGPT

 

3.4 Label Smoothing

Label Smoothing 主要解决模型在训练时对于训练数据过度拟合的问题。它通过调整训练集标签的分布，在标签数据分布中引入一些噪声，使得模型在训练时不再那么“自信”和过度拟合，从而提高模型的泛化能力。

给定一个真实标签 y，计算交叉熵损失时，不是直接将 1 分配到真实类别 y 上，而是将一部分概率分布分配到其它非真实类别上，以缓解模型对于真实类别的过度拟合。

相当于若共有 K 个类别，其中真实标签的置信度不再设为1，而是设为 (1−ϵ)，其它（K-1）个非真实标签的置信度全部设为 ϵ/(K-1)。

 

4. 注意事项

【注1】在训练过程中，解码器也同编码器一样，一次接收解码时所有时刻的输入进行计算。这样做的好处，一是通过多样本并行计算能够加快网络的训练速度；二是在训练过程中直接喂入解码器正确的结果而不是上一时刻的预测值（因为训练时上一时刻的预测值可能是错误的）能够更好的训练网络。

                                                                                       ——月来客栈《This post is all you need》

 

【注2】在通过模型进行实际的预测时，只取解码器输出的其中一个向量进行分类，然后作为当前时刻的解码输出。

类似于下图中，只选 eq?b_%7B4%7D 作为解码输出。

438636fb314840b6969b4a1bf794cec6.png

 

 

PhoenixPerch
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
请移步至：https://blog.csdn.net/m0-48932261/article/details/139472005
06-12
请移步至：https://blog.csdn.net/m0_48932261/article/details/139472005?spm=1001.2014.3001.5501
Transformer: harvardnlp/annotated-transformer 代码理解（二）
wutongxdf的博客
04-24 655
帮助自己更好地理解 Transformer 模型的实现细节
The Annotated Transformer(解读Transformer)
czp_374的博客
03-28 3543
原链接
探索HarvardNLP的sent-conv-torch：一种高效的文本分类框架
最新发布
gitblog_00093的博客
04-18 336
探索HarvardNLP的sent-conv-torch：一种高效的文本分类框架 项目地址:https://gitcode.com/harvardnlp/sent-conv-torch 项目简介 sent-conv-torch 是由哈佛自然语言处理组（HarvardNLP）开发的一个基于PyTorch的深度学习库，专注于文本分类任务。该项目的核心是利用卷积神经网络（Convolutional Ne...
探秘哈佛NLP的Annotated Transformer：深度学习的自然语言处理新星
gitblog_00083的博客
03-21 443
探秘哈佛NLP的Annotated Transformer：深度学习的自然语言处理新星 项目地址:https://gitcode.com/harvardnlp/annotated-transformer 项目简介 Annotated Transformer 是由哈佛大学自然语言处理团队公开的一个深度学习项目，它提供了一个详细的Transformer模型注解版本。该项目旨在帮助研究者和开发者更好地...
The Annotated Transformer的中文教程
技术宅学长的博客
12-14 540
在过去的五年里，Transformer 一直是很多人关注的焦点。这篇文章以逐行实现的形式呈现了论文的带注释版本。它重新排序并删除了原始论文中的一些部分，并在全文中添加了评论。本文档本身是一个notebook ，并且应该是一个完全可用的实现。代码可以在这里找到。
（无敌详细+链接代码注释版）深度学习-图解Transformer (变形金刚)
qq_43703185的博客
09-27 3670
原文链接：https://zhuanlan.zhihu.com/p/105493618 快速导航：迷途小书僮：The Annotated Transformer的中文注释版（1）81 赞同 · 33 评论文章迷途小书僮：The Annotated Transformer的中文注释版（2）24 赞同 · 14 评论文章迷途小书僮：The Annotated Transformer的中文注释版329 赞同 · 24 评论文章迷途小书僮：Transformer中的beam search42 赞同 · 7 评论文章
Variable Frequency Transformer:Variable Frequency Transformer-matlab开发
05-30
变频变压器（VFT）是一种可控的双向传输设备，可以在异步网络之间传输电力。 它避免了 HVDC 链路和基于 FACTS 的电力传输控制系统。 基本上，它是一个旋转变压器，其转矩被调整以控制功率流。 在本文中，VFT 的仿真...
人工智能-transformer-pytorch实现代码-详细解析-更深入理解 transformer
09-19
本文主要是对 transformer使用 Pytorch 实现的一个逐句解析，包含 transformer 原理部分未讲到的正则部分优化以及动态学习率等，以及有些代码实现的思路帮助理解，适合刚学刚用 transformer 的朋友一起学习，使用 ...
java生成海报实例源码-code-transformer:论文“Language-agnosticrepresentationlearnin
06-15
java生成海报实例源码代码转换器 这是CodeTransformer模型的官方 PyTorch 实现： D. Zügner、T. Kirschstein、M. Catasta、J. Leskovec 和 S. Günnemann， “从结构和上下文中学习源代码的语言不可知表示” 出现在...
T5: Text-To-Text Transfer Transformer-python
06-18
T5: Text-To-Text Transfer TransformerT5：Text-To-Text Transfer Transformer T5 主要用作代码，用于重现 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 中的实验。...
Harvard_NLP_Student:哈佛自然语言处理
04-09
哈佛_NLP_学生 哈佛自然语言处理 与R合作 如果您不熟悉R，请在第一节课之前参加在线课程，以熟悉它。 我们仍然会介绍R的基础知识，但是通过花费几个小时在或免费学习在线课程，学生得到了帮助。 以下代码应在控制台中运行，以安装本学期所需的软件包。 请使用此R代码安装以下软件包。 如果您遇到任何错误，请放心，我们将抽出时间来解决这些错误。 qdap库通常是最rJava ，因为它需要Java和rJava ，并且不能在Mac上运行。 因此，如果遇到任何错误，请尝试从下面的代码中删除该错误并重新运行。 如果您还没有软件包，这将花费很长时间，因此请在上课之前运行，并且在您不需要计算机的时间（例如，晚上）运行。 # Individually you can use # install.packages('packageName') such as below: install.packages(
【transformer(11)】入门篇-哈佛Harvard NLP的原作者在2018年初以逐行实现的形式呈现了论文The Annotated Transformer
Hali_Botebie的博客
06-17 1692
由于 Transformer 的使用已经变得普遍，并且我们的实现几乎与原始实现相同，因此我们将省略对模型架构的详尽背景描述，并将读者推荐给 Vaswani (2017) 以及优秀的指南，如“带注释的The Annotated Transformer”。 推荐： http://nlp.seas.harvard.edu/2018/04/03/attention.html Ashish Vaswani, 2017. Attention is all you need. In Advances in Neur
Annotated Transformer
On_theway10的博客
01-04 251
Transformer结构深度注解
The Annotated Transformer（Attention Is All You Need）
sinat_41942180的博客
08-31 750
"Attention is All You Need"[1] 一文中提出的Transformer网络结构最近引起了很多人的关注。Transformer不仅能够明显地提升翻译质量，还为许多NLP任务提供了新的结构。虽然原文写得很清楚，但实际上大家普遍反映很难正确地实现。所以我们为此文章写了篇注解文档，。本文档删除了原文的一些章节并进行了重新排序，并在整个文章中加入了相应的注解。此外，本文档，本身就是直接可以运行的代码实现，，在4个GPU上每秒可以处理27,000个tokens。
哈工大SCIR lab带你从头开始了解Transformer
zenRRan的博客
08-28 647
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要48分钟跟随小博主，每天进步一丢丢作者：Peter Bloem原文：TRANSFORMERS FROM SCRATCH链接：http...
[NLP]——The Annotated Transformer（模型篇）
jokerxsy的博客
05-04 701
背景 有很多为了减少序列计算而引出的模型：Neural GPU\ByteNet\ConvS2S,它们使用卷积神经网络来并行化的计算。然而，这些模型的计算次数随着输入和输出间的距离增长而增长，带来了长期依赖问题。Transformer的计算次数是常数，但是是以减弱了位置信息为代价，具体的，它使用Multi-Head Attention来实现。 self-attention应用广泛，Transformer是第一个完全依赖于self-attention的transduction model，关于transduct
《The Annotated Transformer》翻译——注释和代码实现《Attention Is All You Need》
qq_56591814的博客
09-13 3812
from IPython.display import Image Image(filename='images/aiayn.png') [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BM5P7LdF-1631548048321)(output_0_0.png)]   “Attention is All You Need” 的 Transformer 在过去的一年里一直在很多人的脑海中出现。 Transformer 在机器翻译质量上有重大改进,它还为许多其它NLP 任务提供
哈佛大学NLP研究组的Transformer入门
xindebian12的博客
04-15 3003
The Annotated Transformer from IPython.display import Image Image(filename='images/aiayn.png') The Transformer from “Attention is All You Need” has been on a lot of people’s minds over the las...
annotated transformer
03-16
注释型Transformer是一种基于Transformer模型的改进版本，它在每个输入和输出的词向量中添加了额外的注释信息。这些注释信息可以是词性标注、命名实体识别、依存关系等，以提高模型对语言的理解和表达能力。注释型Transformer在自然语言处理任务中表现出色，如机器翻译、文本分类、问答系统等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值