DL之Transformer：《The Illustrated Transformer—图解Transformer》翻译与解读

已于 2024-04-26 15:06:44 修改
阅读量1.3w 收藏 18
点赞数 9
分类专栏： AI/AGI NLP/LLMs 精选(人工智能)-中级 文章标签： Transformer 自然语言处理
于 2018-08-16 11:36:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/81738707
版权
精选(人工智能)-中级 同时被 3 个专栏收录
320 篇文章 1315 订阅 ¥99.90 ¥299.90
订阅专栏
NLP/LLMs
548 篇文章 422 订阅
订阅专栏
AI/AGI
322 篇文章 224 订阅
订阅专栏
本文详细解读了Transformer模型中的Self-Attention机制，从概念到矩阵计算，再到多头注意力的理解，同时探讨了位置编码如何处理序列顺序问题。通过实例分析了训练过程中的损失函数，并介绍了后续相关研究工作。
摘要由CSDN通过智能技术生成

DL之Transformer：《The Illustrated Transformer—图解Transformer》翻译与解读

目录

Paper：《The Illustrated Transformer》翻译与解读

1、The Illustrated Transformer

2、A High-Level Look

3、Bringing The Tensors Into The Picture 将张量引入图像

4、Now We’re Encoding!

4.1、Self-Attention at a High Level

可视化Attention注意力机制机制原理

NLP之Attention：基于Tensor2Tensor库实现英语-德语的翻译并可视化翻译过程中的Attention注意力机制机制原理(包括输入、输出和各层的注意力权重)来帮助理解模型在翻译过程中的注意力分布/关注点

4.2、Self-Attention in Detail

第1步，生成3个向量

What are the “query”, “key”, and “value” vectors?

第2步，计算分数

第3步，将分数除以8

第4步，进行softmax操作

第5步 、值向量乘以softmax分数

第6步、对加权值向量求和得出self-attention的输出

4.3、Matrix Calculation of Self-Attention

第1步，计算Query矩阵、Key矩阵、Value矩阵

第2~6步，合成一个公式

4.4、The Beast With Many Heads 理解"多头兽"

一个图像理解self-attention

通过案例再次理解attention head

4.5、Representing The Order of The Sequence Using Positional Encoding—Transformer利用位置编码表征序列的顺序信息—来解决文本时序的问题

4.6、What might this pattern look like?

4.7、The Residual

5、The Decoder Side

6、The Final Linear and Softmax Layer 最后一个线性层+softmax层将输出浮点向量转为一个词

7、Recap Of Training

7.1、The Loss Function

法文翻译成英文—单词案例理解

如何比较两种概率分布?

法文翻译成英文—句子案例理解

如何选择最终输出？两种方法：greedy方法、beam search方法

8、Go Forth And Transform

9、Follow-up works:

Acknowledgements

Paper：《The Illustrated Transformer》翻译与解读

作者
了解本专栏 订阅专栏 解锁全文
一个处女座的程序猿
关注
专栏目录
订阅专栏
DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、代码实现、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-27 8687
​ DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、案例应用之详细攻略 目录 相关文章 Transformer的简介 Transformer的使用方法 Transformer的案例应用 相关文章 NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attentio
图文并茂解释Transformer--The Illustrated Transformer翻译精简
u013345707的博客
08-07 863
原文链接https://jalammar.github.io/illustrated-transformer/ 所需知识储备: RNN, Seq2Seq序列模型，Residual残差计算... 自从Attention is All you need 这篇文章发布后，Transformer火的一塌糊涂，热度不低于Bert。接下来让我们一起领略这个号称可以取代RNN,CNN的结构究竟是什么。 概...
The Illustrated Transformer 翻译
xinming31的博客
01-12 1014
最近研究NLP，同事推荐了这篇文章，无奈英语水平有限，连续看三行英文就不知所云了。。。无奈怒翻了这篇文章，一边翻译一边研究，要学的东西还很多啊。 The Illustrated Transformer In the previous post, we looked at Attention – a ubiquitous method in modern deep learning models...
5 大常用机器学习模型类型总结
最新发布
shanguicsdn000的博客
06-26 1756
为了理解什么是集成学习算法，首先，你需要知道什么是集成学习。集成学习是一种同时使用多个模型，以达到比使用单一模型更好的性能的方法。从概念上讲，可以参考下面这个比喻：!我们向一个班里的学生提出一个数学问题。他们有两种解答方式：合作解答和单人解答。生活经验告诉我们，如果全班同学一起合作，那么学生之间可以互相检查，协作解决问题，并最终给出一个唯一的答案。然而单人作答就没有这种检查的福利了——即使他/她的答案错了，也没有人能帮他/她检验。
The Illustrated Transformer:中英文（看原文，很多翻译是错误的）
周红伟讲AI
02-16 1930
在上一篇文章中（previous post），我们研究了注意力机制 - 一种在现代深度学习模型中无处不在的（ubiquitous）方法。 注意力是一个有助于提高神经机器翻译（neural machine translation）应用程序性能的概念。 在这篇文章中（In this post），我们将介绍The Transformer–一个使用注意力来提高（boost）这些模型训练速度的模型。The Transformers在特定任务中优于（outperforms）Google神经机器翻译模型。 然而，最大的好
图解Transformer | The Illustrated Transformer
我是菜鸡
04-23 2万+
写在最前边 看transformer相关文章的时候发现很多人用了相同的图。直到我搜到作者的原文……于是决定翻译一下无删改的原文。 翻译讲究：信、达、雅。要在保障意思准确的情况下传递作者的意图，并且尽量让文本优美。但是大家对我一个理工科少女的语言要求不要太高，本文只能保证在尽量通顺的情况下还原原文。 作者博客：@Jay Alammar 原文链接：The Illustrated Transformer 原文翻译 在之前的文章中，我们讲了现代神经网络常用的一种方法——Attention机制。 本文章我们来介绍
The Illustrated Transformer （Transformer可视化解读自译笔记）
Codefmeister's BLOG
12-19 1182
图解Transformer Reference: The Illustrated Transformer 本文自译用于加深理解与印象。 关于注意力机制，可以参考先前的Seq2Seq Model with Attention Transformer是论文Attention is All You Need提出的。在这篇文章中，我们将尝试把事情弄得简单一点，逐个介绍概念，以便更好理解。 A High-Level Look 我们首先把模型看作是一个黑箱。在机器翻译领域的应用中，输入一种语言的一个句子，会输出另外
The Illustrated Transformer – Jay Alammar.pdf
10-29
tranformer，self-attention,multi-attention
图解Transformer（完整版）
热门推荐
龙心尘
01-17 40万+
审校：百度NLP、龙心尘 翻译：张驰、毅航、Conrad 原作者：Jay Alammar 原链接：https://jalammar.github.io/illustrated-transformer/ 编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型...
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
weixin_56836871的博客
02-06 2489
动机： 为啥挑这篇文章，因为效果炸裂，各种改款把各种数据集霸榜了：语义分割/分类/目标检测，前10都有它 Swin Transformer, that capably serves as a general-purpose backbone for computer vision. 【CC】接着VIT那篇论文挖的坑，transfomer能否做为CV领域的backbone，VIT里面只做了分类的尝试，留了检测/语义分割的坑，这篇文章直接回答swin transfomer可以 Transformer from
Transformer 结构分析
Twilight's Blog
07-31 347
self-attetion 1. 输入 X=EmbeddingLookup(X)+PositionalEncodingX.shape==(batch_size,seq_len,embedding_dim) X = EmbeddingLookup(X) + PositionalEncoding \\ X.shape == (batch\_size, seq\_len, embedding\_dim) X=EmbeddingLookup(X)+PositionalEncodingX.shape==(batch
博文The Illustrated Transformer 的PDF格式
weixin_45612763的博客
02-19 393
广受好评的The Illustrated Transformer一文以图解的形式清晰讲解了Transformer的各个细节，但原博是外网的，我在网上搜了下并没有发现该篇文章的PDF格式，故自己把该文拔下来制作成PDF格式，以供不能科学上网的同学使用： 百度网盘 链接：https://pan.baidu.com/s/1voOGQ8lNO0-3A7lq0hopVQ 提取码：t8yv ...
The Illustrated Transformer
码龙社的博客
04-15 559
The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Chinese (Simplified), [Korean](https://nlpinkorean.github.i...
Self-Attention & Transformer
w55100的博客
07-07 3550
第一部分，参照Hong-yi Lee youtube视频，记录背景知识和attention的计算原理。 第二部分，按照论文《Attention is all your need》的结构，描述怎么利用第一部分的算法，搭建一个transformer。 第三部分，个人实现过程中遇到的问题，能解释的都回来补充了，也会穿插在正文里。
The Illustrated Transformer（翻译）
小阳明的专栏
06-19 299
The Illustrated Transformer Discussions:Hacker News (65 points, 4 comments),Reddit r/MachineLearning (29 points, 3 comments) Translations:Chinese (Simplified),French,Japanese,Korean,Russian,Spanish,Vietnamese Watch: MIT’sDeep Learning State of t...
【深度学习】NLP之Transformer (1) Encoder
littlemichelle
04-04 2684
The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time. 在机器翻译的任务中，使用RNN会造成梯度消失和长句子传递信息缺失的问题。LSTM只能缓解，如果想要进一步提升，就引入了Transformer。这里的新思想是不用RNN来做机器翻译。 ...
ML/DL入门介绍（底层理解+基本概念）
weixin_50967907的博客
11-14 2171
随着人工智能的不断发展，机器学习这门技术也越来越重要，本文就介绍了机器学习的基础内容。该笔记结合了《机器学习》和《动手学深度学习》两门课（前者为主），更好地认识ML和DL。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值