Transformer简介（详细解释）

最新推荐文章于 2024-07-30 11:53:20 发布
最新推荐文章于 2024-07-30 11:53:20 发布
阅读量1.2k 收藏 23
点赞数 22
分类专栏： Artificial Intelligence 文章标签： transformer 深度学习 人工智能 embedding 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/T_susan/article/details/136584254
版权

文章目录

Transformer模型概要

\qquad Transformer最初是作为机器翻译的Seq2Seq模型提出来的，但是后来的工作表明，Transformer在CV，音频处理等其他领域也取得非常不错的效果，并且在过去几年中提出了各种Transformer变体（X-former），这些模型也从不同的方面提高了原版Transformer的效果。
\qquad 本文主要介绍关于Tranformer的相关知识，Transformer是一个基于自注意力机制（self-attention）的神经网络模型。请读者注意，这里不是指某一种网络，而是一种结构。相比于传统的RNN和CNN模型，Transformer允许模型学习数据位置之间的依赖关系，这种特性使Transformer在处理长文本序列数据时具有更高的效率。

Transformer模型整体架构

\qquad 下面就是Attention is all you need 这篇著名的论文中提出来的Transformer的模型架构，当自己能够对这个模型做到烂熟于心的时候，说明你对Transformer的了解程度已经非常高了。原论文中的模型架构
\qquad 同时，对于初学者，可能对这张图中有许多地方都处于一种懵懂的状态，但是也不要担心，后续我将对这个模型所有内容做详细的解释。

Transformer网络层解释

1. Embedding层

\qquad Embedding，翻译过来便是’词嵌入’。通常来说，这个网络层的作用是将一个整数转换成一个向量的过程，整体来看，就是对一组客观世界中的离散的物体映射到高维空间中的一组向量的过程，换句话说，Embedding就是用一组高维向量表示一个物体（可以是整数，颜色等等）的过程。
举个栗子

  1. 在NLP领域，对于文本信息的处理，我们通常会先将文本按照词表将对应的word映射到数字的过程，即 word2index的过程。此处为: 机 -> 1
  2. 然后机这个词便被映射成整数1了，然后通过Embedding层，我们就能得到 1 -> (0.1, 2, 3, 1, 9, …)
    Embedding模型结构示意
2. Positional Encoding

\qquad 在Transformer模型中，整个句子被同时传入模型中，并没有记录下关于词汇之间的位置关系，那么为了记录词汇之间的位置关系，我们就需要Positional Encoding来捕捉词汇之间的位置关系。
举个栗子

  1. 为了简单来看，请读者不妨想一想，我们在写英语作文的时候，我们如果写了一个do，那么下一个单词是不是很有可能是一个名词呢？比如things等等。
3. Multi-Head-Attention

\qquad 首先这部分其实就是做了简介中提到的self-attention，实现了与QKV相关的计算过程，但是这里还使用了多头注意力，它的作用就是能够捕捉到更多的特征以及信息，可以类似于 CNN 中利用多个卷积核分别提取不同特征。
\qquad 下面是Attention计算公式：
QKV计算公式

4. Add（Residual Connection ）

\qquad Residual Connection， 翻译成中文便是残差连接。其实就是将最后网络层的输出加上最开始的输入，这种操作可以有效解决关于梯度消失的问题，这样表示可能有些抽象，那不妨让我们举个例子吧。
举个栗子

  1. 不妨假设我们网络输入为X，那么残差连接做的事就是使最终的输出为F(X) + X，这样就可以有效解决关于梯度反向传播更新参数过程的梯度消失问题。
5. Norm（Layer Normalization）

\qquad 在transformer中实际上使用的使Layer Norm而不是Batch Norm，这一点要清楚。当我们使用梯度下降法时，为了保证数据特征分布的稳定性，会加入Normalization。从而可以使用更大的学习率，从而加速模型的收敛速度。Layer Norm消除了不同sample之间的大小关系，而保留了不同特征之间的大小关系。
在这里插入图片描述

6. Feed Forword

\qquad 这一部分相信很多人都有了解过，实际上就是一个全连接神经网络，这使我们的计算能够更加有效，可以将其类比为集体智慧的体现。类似于说下一层的神经元得到的信息是来自上一层的多个神经元，那么它拥有的信息就比上一层中任意单个神经元的信息更加丰富。
神经网络结构示例

7. Masked Multi-Head-Attention

\qquad 这里和上面所谈到的Multi-Head-Attention基本类似，但是多了一个masked，实际上这一步的作用就是保证当前输出只与当前和过去输入有关，而与未来信息无关。
在这里插入图片描述

Transformer模型简介小结

\qquad 本篇博客主要介绍了关于Transformer的起源，应用领域等，同时对整个Transformer模型架构进行了解释性的说明，在后续博客中，我将对模型结构的各个部分进行详细的解释说明，同时会附上一些代码，方便读者理解。

本文编写过程中，不免会出现一些不严谨或者错误的地方，麻烦大家联系我，我将尽快改正。同时麻烦大家一键三连哦！！！

参考文献

  1. https://qiankunli.github.io/2022/03/02/embedding.html
  2. https://zhuanlan.zhihu.com/p/422247863
  3. https://mp.weixin.qq.com/s/HNCl6MPS_hjTVHNt7UkYyw
  4. https://blog.csdn.net/FrankieHello/article/details/122656652
  5. https://zhuanlan.zhihu.com/p/665269977
  6. https://towardsdatascience.com/simplifying-transformers-state-of-the-art-nlp-using-words-you-understand-part-4-feed-foward-264bfee06d9
  7. https://www.bilibili.com/video/BV1cV411X7XN
  8. https://datasciencedojo.com/blog/embeddings-and-llm/
Alannikos
关注
专栏目录
DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、代码实现、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-27 8752
​ DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、案例应用之详细攻略 目录 相关文章 Transformer的简介 Transformer的使用方法 Transformer的案例应用 相关文章 NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attentio
Transformer大模型实战 Transformer 简介
AI天才研究院
07-12 557
Transformer大模型实战：Transformer简介 1. 背景介绍 1.1 问题的由来 随着深度学习技术的快速发展，尤其是自然语言处理（NLP）领域，传统的循环神经网络（RNN）和卷积神经网络（CNN）在处
Transformer介绍讲义pdf
10-18
Transformer介绍讲义pdf
【Transformer介绍】
hao3011432091的博客
07-09 673
在深度学习的世界里，Transformer架构可谓革命性的突破。自从2017年由Vaswani等人提出以来，Transformer不仅在自然语言处理（NLP）领域取得了巨大的成功，而且迅速普及到其他领域如计算机视觉和语音处理。今天，我们将详细解析Transformer，包括其基本原理、关键概念、实例应用以及为什么它如此重要。
一文看懂 Transformer！超级详解，小白入门必看！
最新发布
z551646的博客
07-30 4379
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Transformer 介绍
独钓寒江雪
01-02 338
Transformer 论文：https://arxiv.org/abs/1706.03762 代码解析：https://blog.csdn.net/mijiaoxiaosan/article/details/74909076 https://baijiahao.baidu.com/s?id=1622064575970777188&wfr=spider&for=pc ht...
Transformer 简介
m0_51976564的博客
12-09 1228
Attention、Self-Attention、Cross-Attention、Multi-Head Attention、位置编码、Transformer、Input Block、Encoder Block、Decoder Block、Output Block、BERT、GPT
Transformer简介
qq_44733706的博客
02-13 8990
transformer模型简介，包括编码器（encoder）、解码器（decoder）、训练以及模型训练中的tips。
视觉Transformer原理与代码实例讲解
AI天才研究院
06-02 1060
背景介绍 视觉Transformer（ViT）是2021年Google Brain团队提出的一个开创性的视觉模型。它采用了Transformer架构，摒弃了传统的卷积网络（CNN）的方式，直接将图像的像素作为输入，并使用了位置编码和自注意力机制来学习图像的结构和特征。ViT在图像分类、语义分割、对象检测等任务上表现出色，成为了目前最热门的视觉模型之一。本
Transformer 基础教程：详细介绍Transformer的架构原理，数学公式和训练、推断和优化过程
AI天才研究院
08-22 308
Transformer是最近几年的热点技术之一，它被认为是自然语言处理（NLP）领域里最重要的模型之一。它一改传统机器翻译、文本摘要等序列学习任务中依赖循环神经网络（RNN）或卷积神经网络（CNN）的天真尝试，而是将注意力机制引入到计算过程中，从而解决了序列建模中的两个主要难题——记忆效应和并行计算瓶颈。Transformer是由Google于2017年提出的一种基于注意力机制的神经网络模型，用于解决序列建模问题。
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 19万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
详解transformer
cz的博客
12-01 5535
1.Transformer 整体结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构： 可以看到 Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。Transformer 的工作流程大体如下： 第一步：获取输入句子的每一个单词的表示向量 X，X由单词的 Embedding（Embedding就是从原始数据提取出来的Feature） 和单词位置的 Embeddi
Transformer详解
qq_57461253的博客
07-27 1350
Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型架构，广泛应用于自然语言处理和其他序列到序列的任务。
[机器学习]-4 Transformer介绍和ChatGPT本质
wendywm0496的博客
07-01 1252
Transformer是由Vaswani等人在2017年提出的一种深度学习模型架构，最初用于自然语言处理（NLP）任务，特别是机器翻译。Transformer通过自注意机制和完全基于注意力的架构，核心思想是通过注意力来捕捉输入序列中元素之间的关系，从而在并行计算的情况下更有效地处理长序列数据，克服了传统RNN和CNN的一些局限性，在许多任务上实现了显著的性能提升。
6.1 Transformer简介
m0_47880481的博客
05-18 739
第一章:Transformer背景介绍 1.1 Transformer的诞生¶ 2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩! 论文地址:https://arxiv.org/pdf/1810.04805.pdf 而在BERT中发挥重要作用的结构就是Trans...
transformer的简要解读（应该都能看懂）
qq_40663469的博客
03-20 2万+
本人是学视觉对抗学习的，读论文的时候有论文用到了transformer，所以特地学习一下。博客里没有涉及代码实现，都是基础理论。个人感觉自己写的应该比较易懂吧，适合小白看。
什么是Transformer
薇酱的博客
10-25 2112
目录 ​ Encoder： Decoder： Decoder-Autoregressive multi-head attention VSmasked multi-head attention Decoder-Non-Autoregressive Encoder和Decoder联合工作 Training： 训练技巧 优化评估指标 推荐阅读： 整体结构 Transformer是一个Sequence to Sequence的模型，主要的结构是encoder和decoder...
transformer项目实战
10-07
Transformer项目实战主要包括以下几个方面： 1. Transformer简介：介绍了Transformer模型的基本原理和结构。 2. Encoder-Decoder整体结构：详细解析了Transformer的编码器和解码器的整体结构。 3. 核心技巧与代码解析： 3.1 Positional Encoding：解释了位置编码的作用和实现方式。 3.2 Self Attention Mechanism：介绍了自注意力机制的原理和实现方式。 3.3 Mask矩阵设计： - Pad mask：解释了如何使用pad mask来处理不同长度的输入序列。 - SubSequence mask：介绍了如何使用subsequence mask来处理解码器的自回归过程。 3.4 Multi-Head Self Attention：详细解析了多头自注意力机制的实现方式和优势。 3.5 残差连接和Layer Normalization：介绍了残差连接和层归一化的作用和实现方式。 4. Transformer VS Seq2Seq：对比了Transformer模型和Seq2Seq模型的优缺点。 以上是Transformer项目实战的主要内容。通过学习和实践这些内容，可以更好地理解和应用Transformer模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值