【transformer】|李宏毅 transformer encoder

最新推荐文章于 2024-08-29 18:15:49 发布
最新推荐文章于 2024-08-29 18:15:49 发布
阅读量258 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35608277/article/details/118163866
版权

seq2seq

结构通常有编解码器
在这里插入图片描述

可以用于语音-文字识别，不同语言文字翻译、语音-文字翻译
输出向量维度由模型决定
在这里插入图片描述

用于目标检测
在这里插入图片描述

transformer结构

在这里插入图片描述

encoder

在这里插入图片描述
多个模块处理
在这里插入图片描述
具体来说

蓝色输入与经过自注意模块输出做residual相加后，经过层正则化（对一个输入各个维度求均值方差，而不是BN在一个批次同一个维度）
输入到FC层，再跟输入做risidual相加再层正则化
得到最终输出

在这里插入图片描述
总的就是如下图（输入加入了顺序考虑，加了位置向量），重复Nx次

在这里插入图片描述

可以改进encoder的样子
在这里插入图片描述

为什么Layer Norm?

参考
https://zhuanlan.zhihu.com/p/126749311?from_voters_page=true

PowerNorm
https://arxiv.org/pdf/2003.07845.pdf

rrr2
关注
Transformer（李宏毅2022）
linyuxi_loretta的博客
10-18 2477
（作业五）变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,
李宏毅机器学习——Transformer
weixin_45366750的博客
09-15 2483
Transformer属于seq2seq模型，解决输入时序列，输出也是序列，并且输出长度由机器自己决定的问题。 一、seq2seq的应用 语音识别：输入声音讯号，输出对应的文字 机器翻译：输入一段英文，输出对应的一段中文 语音翻译：将听到的一段声英语，翻译成中文字 语音合成：输入一段文字，输出对应的语种声音翻译 聊天机器人 提取文章的摘要 对于不同的任务，应该客制化对应的seq2seq模型，这样效果更好。 二、transfomer的架构 input——encoder（编译）——decoder（解
李宏毅Transformer
u014422462的专栏
07-07 761
Transformer Transformer 其实就是Sequence-to-Sequence（Seq2Seq）架构的model，就是输入一堆向量，输出一堆向量，输出的向量数量由机器自己决定。 Seq2Seq架构 整体架构 Encode部分 Encode部分就是输入一堆向量，然后输出一堆向量，这个encoder部分可以是RNN或者CNN组成的，但是在Transformer里，Encoder得是Transformer的Encoder就是下图右边这部分。 首先我们看下Encoder的基本架构，就是红色框中
transformer（李宏毅老师系列）
Moliay的博客
08-12 1350
decoder会把自己的输出作为接下来的输入之一，当decoder看到错误的输入，再被decoder自己吃进去，可能会造成error propagation,一步错步步错。但是，在训练时，是对每一个生成的token进行优化，使用的指标是交叉熵。但是，虽然表面上看起来有种种的厉害之处,尤其是平行化是它最大的优势,但是 NAT 的 Decoder ,它的 Performance,往往都。根据这个蓝色的向量里给每一个中文的字的分数，来决定第二个输出，再作为输入，继续输出后续的字，以此类推……
2020李宏毅机器学习笔记——19. Transformer(全自注意力网络)
weixin_44790306的博客
08-07 3179
摘要： 文章目录1. Transformer的引入2. Self-Attention 1. Transformer的引入 一般的sequence-to-sequence模型是用RNN（单方向或者双向）来做，RNN输入是一串sequence，输出是另外一串sequence。RNN常被用于input是一个序列的情况,但是有一个问题——不容易平行化（并行化计算）。 例如下图中左边的模型就是RNN结构的sequence-to-sequence模型，(假设是单向RNN）想要求出b4就得先从a1输入开始一步一步往后求，
transformer-李宏毅
涂宇鸽的博客
11-14 150
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其...李宏毅
李宏毅老师《机器学习》课程笔记-5 Transformer
宁萌Julie的博客
06-05 1222
详细介绍大名鼎鼎的 Transformer 。
transformer Encoder
07-28
- *1* *3* [李宏毅 Transformer（介绍 + Encoder部分）](https://blog.csdn.net/missgrass/article/details/123342968)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":...
【Transformer】——李宏毅机器学习笔记
久蔡合子
12-21 1607
Transformer
李宏毅机器学习_Transformer
m0_68477761的博客
07-23 616
本周，我学习了一种强大的深度学习模型，名为Transformer。可以把Transformer看作是一种“翻译机”，它能够读取一种语言的文本（例如英文），然后用另一种语言（例如中文）生成相同的含义。Transformer的核心理念是“注意力机制”。像我们人类阅读文本时更关注某些词语，Transformer也会对输入数据中的重要部分给予更多关注。这使得模型能够更好地理解上下文关系，从而生成更准确的输出。让Transformer更特殊的是其“自注意力”（Self-Attention）机制。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Transformer
热门推荐
知不足而奋进，望远山而前行
11-11 2万+
Transformer是一个用于解决Seq2Seq问题的模型，用来解决输出长度不确定的问题Transformer是一个利用自注意力机制来提高模型训练速度的深度学习模型它适用于并行化计算它本身模型的复杂程度较高它在精度和性能上都要高于之前流行的RNN循环神经网络。Seq2Seq模型是输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。它的输入是一个序列，输出也是一个序列。
transformer---李宏毅
终极香蕉大菠萝的博客
04-13 462
什么是transformer？对于seq2seq模型，我们常用的是RNN，但我们所使用的RNN是按照时间步去计算的，缺少并行性，当我们的训练集很庞大时，我们的训练时间要很久，而李宏毅老师在视频里讲到，有人提出用CNN去替代RNN，如下图，左图为双向RNN，而右图为CNN去训练序列 所以有人提出了，用CNN来替代RNN。 图中每一个三角形代表一个filter。 但是CNN只能考虑有限的信息，比如...
[公开课学习]台大李宏毅-自注意力机制 & Transformer
zhangyifeng_1995的博客
05-08 1034
存在一些问题，每个向量有一个输出结果，被称为不知道有多少输出结果，被称为seq2seq。
[Transformer]Transformer-李宏毅
qq_37151108的博客
10-01 557
Section A Background seq2seq with self-attention RNN处理sequence RNN输入 vector sequence, 输出 vector sequence RNN的问题：不容易被并行化，只能序列化 usiong CNN to replace RNN->为了并行化 RNN和CNN都能实现 输出B1-B4序列； 更高层的filter可以考虑更大范围的依赖关系 CNN的缺点：需要叠很多层 才能有较大的感受野 小结：RNN可以捕捉长程关系，但不能并行； C
TransformerEncoder理解
u012413709的博客
04-23 340
TransformerEncoder你真的懂了吗？ - 百度文库
【机器学习】李宏毅——Transformer
FavoriteStar的博客
09-17 3331
本文详细地介绍了Transformer算法，介绍了其内部重要的Encoder和Decoder，以及具体的实现过程和原理，还介绍了其训练过程以及训练过程中应该注意的种种问题。
Transformer 系列三：Encoder编码器和Decoder解码器
最新发布
weixin_44174227的博客
08-29 2420
Transformer使用了"Encoder-Decoder" 编码器-解码器的结构，这种结构被广泛应用于处理序列到序列（seq2seq）的学习任务中。这种结构由编码器和解码器两大部分组成，编码（encoding）是一个模式提取的过程，将输入句子的特征提取出来，存储在一个中间隐状态空间（hidden state）；而解码（decoding）则是将encoder提取出来的特征进行重建，解码成为我们期望的输出。如翻译任务：将输入的英语经过编码器编码成中间表示，再使用解码器将这个中间表示解码成中文。
transformer encoder 级联
07-28
Transformer Encoder的级联是指将多个Transformer Encoder层按顺序连接在一起，形成一个更深层的网络结构。每个Transformer Encoder层由多个自注意力机制（self-attention）和前馈神经网络（feed-forward neural ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值