图文并茂解释Transformer--The Illustrated Transformer翻译精简

最新推荐文章于 2022-04-23 10:01:23 发布
最新推荐文章于 2022-04-23 10:01:23 发布
阅读量862 收藏 5
点赞数
文章标签： 深度学习 机器翻译 RNN Transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013345707/article/details/98752986
版权
本文深入浅出地介绍了Transformer模型，强调了Self-Attention和Multi-Head Attention的概念，以及它们在机器翻译任务中的作用。Transformer通过Self-Attention解决了RNN和CNN在处理序列数据时的限制，利用位置编码表示序列顺序，并采用残差连接和层规范化。文中还涵盖了Decoder的结构和训练过程的重点。
摘要由CSDN通过智能技术生成

原文链接https://jalammar.github.io/illustrated-transformer/

所需知识储备: RNN, Seq2Seq序列模型，Residual残差计算...

自从Attention is All you need 这篇文章发布后，Transformer火的一塌糊涂，热度不低于Bert。接下来让我们一起领略这个号称可以取代RNN,CNN的结构究竟是什么。

概览:

以机器翻译任务来示例，Transformer有着上述的黑盒结构，里面是多层的encoder和decoder:

其中每一个encoder单元有着完全相同的结构(但是并不互相共享权重)，每个encoder单元可以分为两层:

encoder的输入首先流入Self-Attention单元，然后进入feed forward network(FFNN),之后完全相同的FFNN被应用在相同位置。

Decoder 的结构与上面的类似，但是中间又多了一个attention层，这使得解码时能够集中在输入句子的最相关部分（与seq2seq模型中使用attention的方法类似）:

在上述模型中加入Tensor:

这一部分看图就行，先是词嵌入的表示，然后词嵌入输入encoder：

在这里，我们开需要注意Transformer

最低0.47元/天 解锁文章
顶峰猛跑的H
关注
The illustrated transformer：Attention Is All You Need
ACM_hades的博客
12-01 1776
参考链接：http://jalammar.github.io/illustrated-transformer/ 论文链接：https://arxiv.org/abs/1706.03762   一、Transform的整体框架： 在机器翻译中的Tansform可以像下图一样看作一个黑盒： Transform由三部分组成：编码器部分，解码器部分，以及它们之间的连接； 编码器...
The Illustrated Transformer
csiao_Bing的博客
12-18 936
摘自 Jay Alammar https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer In the previous post, we looked at Attention – a ubiquitous method in modern deep learni...
The Illustrated Transformer【译】
热门推荐
yujianmin1990的专栏
12-23 7万+
前言 翻译一篇非常赞的解释Transformer的文章，原文链接。 在之前的文章中，Attention成了深度学习模型中无处不在的方法，它是种帮助提升NMT（Neural Machine Translation）的翻译效果的思想。在本篇博客中，我们解析下Transformer，该模型扩展Attention来加速训练，并且在Google的NMT中表现突出。然而，其最大的好处是可并行。实际上谷歌云...
The Illustrated Transformer 翻译
xinming31的博客
01-12 1014
最近研究NLP，同事推荐了这篇文章，无奈英语水平有限，连续看三行英文就不知所云了。。。无奈怒翻了这篇文章，一边翻译一边研究，要学的东西还很多啊。 The Illustrated Transformer In the previous post, we looked at Attention – a ubiquitous method in modern deep learning models...
The Illustrated Transformer:中英文（看原文，很多翻译是错误的）
周红伟讲AI
02-16 1928
在上一篇文章中（previous post），我们研究了注意力机制 - 一种在现代深度学习模型中无处不在的（ubiquitous）方法。 注意力是一个有助于提高神经机器翻译（neural machine translation）应用程序性能的概念。 在这篇文章中（In this post），我们将介绍The Transformer–一个使用注意力来提高（boost）这些模型训练速度的模型。The Transformers在特定任务中优于（outperforms）Google神经机器翻译模型。 然而，最大的好
Transformer-XL模型代码
最新发布
06-22
通过研究这些代码，你可以了解到如何构建和训练Transformer-XL模型，以及如何将其应用于各种NLP任务，如语言建模、机器翻译、文本分类等。此外，你还可以了解如何使用GPU进行并行计算，以及如何使用TensorFlow、...
Video-Action-Transformer-Network-Pytorch-:视频行动变压器网络的实现
05-01
视频动作变压器网络火炬 视频行动变压器网络的Pytorch和Tensorflow实现Rohit Girdhar，Joao Carreira，Carl...outputs, features = model(imgs) # outputs is the classification layer output (do cross entropy loss)
ts-transformer-keys:TypeScript自定义转换器，可以获取给定类型的键
03-30
ts-transformer-keys TypeScript自定义转换器，可以获取给定类型的键。 要求 打字稿> = 2.4.1 如何使用此套件 该软件包导出2个函数。 一个是keys ，其在打字稿码用于获得给定类型的键，而另一个是用于编译一个打字...
tab-transformer-pytorch:在 Pytorch 中实现 TabTransformer，表格数据的注意力网络
05-30
$ pip install tab-transformer-pytorch 用法 import torch from tab_transformer_pytorch import TabTransformer cont_mean_std = torch . randn ( 10 , 2 ) model = TabTransformer ( categories = ( 10 , 5 , 6...
The Illustrated Transformer – Jay Alammar.pdf
10-29
tranformer，self-attention,multi-attention
图解Transformer | The Illustrated Transformer
我是菜鸡
04-23 2万+
写在最前边 看transformer相关文章的时候发现很多人用了相同的图。直到我搜到作者的原文……于是决定翻译一下无删改的原文。 翻译讲究：信、达、雅。要在保障意思准确的情况下传递作者的意图，并且尽量让文本优美。但是大家对我一个理工科少女的语言要求不要太高，本文只能保证在尽量通顺的情况下还原原文。 作者博客：@Jay Alammar 原文链接：The Illustrated Transformer 原文翻译 在之前的文章中，我们讲了现代神经网络常用的一种方法——Attention机制。 本文章我们来介绍
The Illustrated Transformer （Transformer可视化解读自译笔记）
Codefmeister's BLOG
12-19 1180
图解Transformer Reference: The Illustrated Transformer 本文自译用于加深理解与印象。 关于注意力机制，可以参考先前的Seq2Seq Model with Attention Transformer是论文Attention is All You Need提出的。在这篇文章中，我们将尝试把事情弄得简单一点，逐个介绍概念，以便更好理解。 A High-Level Look 我们首先把模型看作是一个黑箱。在机器翻译领域的应用中，输入一种语言的一个句子，会输出另外
博客阅读：图解Transformer（The Illustrated Transformer）
南有芙蕖
10-10 1874
博客阅读：图解Transformer（The Illustrated Transformer） 原文链接：https://jalammar.github.io/illustrated-transformer/ 作者：Jay Alammar 目录博客阅读：图解Transformer（The Illustrated Transformer）前言1.整体结构（A High-Level Look）图的引入（Bringing The Tensors Into the Picture）2.Encoder编码器（No
DL之Transformer：《The Illustrated Transformer—图解Transformer》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-16 1万+
​ Paper：《The Illustrated Transformer—图解Transformer》翻译与解读 目录 Paper：《The Illustrated Transformer》翻译与解读 1、The Illustrated Transformer 2、A High-Level Look 3、Bringing The Tensors Into The Picture将张量引入图像 4、Now We’re Encoding! 5、The Deco
[blog] The Illustrated Transformer 1
currycode
03-27 381
原文：https://jalammar.github.io/illustrated-transformer/ part2：https://blog.csdn.net/zongza/article/details/88866476 In theprevious post, we looked at Attention– a ubiquitous method in modern deep...
The illustrated Transformer 笔记
weixin_30858241的博客
10-05 646
The illustrated Transformer Transformer是一种使用Attention机制类提升模型训练的速度的模型。该模型的最大优势在于其并行性良好。Transformer模型在Attention is All You Need中被提出，代码在Tensor2Tensorpackage中实现，以及一个 guide annotating the paper with P...
"视觉中的Transformer-VIT模型实战
本章主要介绍了视觉中的Transformer-VIT模型实战。在过去的课程中，我们学习了Transformer结构在自然语言处理领域中的应用。Transformer最初是针对自然语言处理领域提出的，并在该领域取得了巨大成功。本章将重点...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值