李宏毅机器学习笔记——Transformer

最新推荐文章于 2025-04-19 16:40:32 发布
最新推荐文章于 2025-04-19 16:40:32 发布
阅读量1.3k 收藏
点赞数
分类专栏： 李宏毅机器学习 文章标签： transformer 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chairon/article/details/123519257
版权

Seq2seq

输入一串序列，输出一串序列，但不知道序列长度，由机器自己决定。eg.语音识别、翻译、多标签分类、目标检测
在这里插入图片描述
在这里插入图片描述

Transfomer

Encoder

在这里插入图片描述
Transform用的layer Nomination

decoder

1. Autorgressive

在这里插入图片描述

  • 上一个decoder的输入是下一个的输入：如果上一个输出错误，也会影响下一步的预测；输出是一个个产生的，串行，只能考虑左边的
  • 拥有begin和end标志

mask self-attention:只考虑左边的输入；self-attention考虑全部的输入
在这里插入图片描述
在这里插入图片描述
比如：计算b2就只考虑a1和a2
在这里插入图片描述
在这里插入图片描述

2. Non-autorgressive（NAT）

NAT：输入一排begin，同时产生所有输出。并行的，快，但是不如AT效果好

怎么知道该输入多少个begin信号呢？

  1. 在decoder之前用一个分类器，输入为encoder的结果，输入为一个数字，即该输入decoder的数目
  2. 设置一个长度上限比如300，同时输入300个begin信号，如果遇到end，end后面的就不输出
    在这里插入图片描述

Cross attention

在这里插入图片描述
在这里插入图片描述
Cross attention：用Encoder产生的所有的K、V和decoder中的Mask self-attention产生的q分别再做attention计算

traning

在这里插入图片描述
在这里插入图片描述
Teacher Forecing：将正确答案作为decoder输入
在这里插入图片描述

tips

  1. Copy Mechanism
    有些信息可以从输入的信息中复制过来，不需要机器生成（可以从文章中训练生成摘要）
    在这里插入图片描述

（李宏毅大佬居然还看《全职猎人》，我幻影旅团团长库洛洛·鲁西鲁！！！居然被提到了，还有小杰！其实我更喜欢犽奇耶

  1. Guided Attention
    在一些任务中，机器可以会忽略掉一些内容，影响效果，比如语音合成、语言识别，可以通过Guided Attention处理
    Guided Attention强迫你的attention有固定的样貌（顺序、限制）

  2. Beam Search
    寻找最优路径的一个比较好的方法（有时有用，有时没用，看任务本身，任务目标本事很明确，结果确定的比较有用；有时候decoder有一些随机性比较好，比如语音合成TTS）
    在这里插入图片描述

exposure bias

在训练时，一直给Decoder 正确的数据进行训练，会产生正确的答案，但是在测试的时候可能会出错，一步错步步错，因为decoder是要利用上一个的输出进行预测，如果上一个就错了…这个现象叫exposure bias
解决办法：在decoder进行训练的时候就给一些噪声（错误数据）即Scheduled Sampling，但会伤害到transfomer的平行化能力

在这里插入图片描述

在这里插入图片描述

【第九周】李宏毅机器学习笔记07：Transformer
qq_30043925的博客
08-25 1445
这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法，一种是 AT （Autoregressive Transformer） ，另一种是NAT（Non-Autoregressive Transformer）。其中，AT生成序列质量高但速度较慢，而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。
李宏毅深度学习Transformer笔记
m0_61803871的博客
12-11 3412
记录了李宏毅老师的Transformer课程的笔记。
【深度学习—李宏毅教程笔记】Transformer
最新发布
m0_56997192的博客
04-19 795
本文超详解Transformer
【Transformer】——李宏毅机器学习笔记
久蔡合子
12-21 2112
Transformer
2020李宏毅机器学习笔记——19. Transformer(全自注意力网络)
weixin_44790306的博客
08-07 3428
摘要： 文章目录1. Transformer的引入2. Self-Attention 1. Transformer的引入 一般的sequence-to-sequence模型是用RNN（单方向或者双向）来做，RNN输入是一串sequence，输出是另外一串sequence。RNN常被用于input是一个序列的情况,但是有一个问题——不容易平行化（并行化计算）。 例如下图中左边的模型就是RNN结构的sequence-to-sequence模型，(假设是单向RNN）想要求出b4就得先从a1输入开始一步一步往后求，
李宏毅学习笔记15.Transformer
老毛的博客
04-13 914
文章目录Sequence to SequenceSelf-Attention生成过程并行过程小结Multi-head Self-attention（2 heads as example）Positional EncodingSeq2seq with Attention总结应用 在线LaTeX公式编辑器 看封面就知道，这节课是讲transformer，它的主要应用是BERT，BERT就是unsupe...
机器学习（李宏毅）——Transformer
Dlog的博客
02-11 1300
机器学习（李宏毅）——transformer笔记
李宏毅机器学习入门笔记——第四节
weixin_45496725的博客
02-28 832
第四节知识点
【第七周】李宏毅机器学习笔记05：自注意力机制
qq_30043925的博客
08-11 947
本周学习了自注意力机制，了解了Self-attention的组成结构和有关参数α的计算方法，并且运用了线性代数的方法手动推导了求解输出矩阵的矩阵乘法表示方式，将复杂的问题简单化，更加深入理解了Self-attention的具体机制以及运用方法，最后也将Self-attention与CNN和RNN网络做对比，学习不同方法的优缺点。在师兄的建议下了解了空洞卷积和转置卷积的概念，对部分内容进行了笔算，加深了我对卷积运算的印象。本周进行了理论内容的学习，了解了自注意力机制。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Transformer
热门推荐
知不足而奋进，望远山而前行
11-11 2万+
Transformer是一个用于解决Seq2Seq问题的模型，用来解决输出长度不确定的问题Transformer是一个利用自注意力机制来提高模型训练速度的深度学习模型它适用于并行化计算它本身模型的复杂程度较高它在精度和性能上都要高于之前流行的RNN循环神经网络。Seq2Seq模型是输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。它的输入是一个序列，输出也是一个序列。
李宏毅 Transformer 学习笔记
herosunly的博客
07-04 1万+
1. self-attention 1.1 为什么要引入self-attention   基于RNN(LSTM)的序列模型来说，计算每个cell的输出无法进行并行化。而且单向的RNN无法很好的利用全局的信息。   self-attention的出现恰好解决了以上两大问题。 其中x->a这一步貌似在论文中并没有体现。在求每一个output的时候，对应的q会对所有的k求内积（除以d\sqrt...
Transformer - 李宏毅笔记
weixin_42010722的博客
02-08 1634
Transformer1.Sequence-to-sequence简介2.transformer结构2.1 transformer的Encoder2.1.1 Encode结构2.1.2 Encoder具体结构分解2.2 transformer的Decoder2.2.1 Decode结构2.2.2 Mask2.2.3 Cross attention 1.Sequence-to-sequence简介 前一章提到过，模型在处理文本或者语音的数据时，是输入一个序列，输出一个class或者一个序列 Seq2seq表示
李宏毅2021机器学习笔记——Transformer
Alex_SCY的博客
08-06 1512
Transformer_P1_Encoder 变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,所以这边有一个BERT探出头来,代表说Transformer跟BERT,是很有关係的 Sequence-to-sequence (Seq2seq) Transformer就是一个,Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什麼呢 我们之前在讲
李宏毅Transformer
u014422462的专栏
07-07 819
Transformer Transformer 其实就是Sequence-to-Sequence（Seq2Seq）架构的model，就是输入一堆向量，输出一堆向量，输出的向量数量由机器自己决定。 Seq2Seq架构 整体架构 Encode部分 Encode部分就是输入一堆向量，然后输出一堆向量，这个encoder部分可以是RNN或者CNN组成的，但是在Transformer里，Encoder得是Transformer的Encoder就是下图右边这部分。 首先我们看下Encoder的基本架构，就是红色框中
李宏毅——transformer
shaoyue1234的专栏
10-09 1789
李宏毅——transformer导读self-attentionmulti-head self-attention顺序问题seq2seq with attentiontransformer网络架构attention visualization例子 导读 什么是transformer： 对于序列，常用的是RNN RNN的问题，不容易并行处理。 所以有人提出了，用CNN来替代RNN。 图中每一个三角...
李宏毅机器学习笔记-transformer
夏之微风的博客
09-23 813
transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做。。和是完全不一样的，一个是多分类，另一个是一个样本可以有多个标签。但是多标签的问题，可以用seq2seq模型来解决。
李宏毅老师《机器学习》课程笔记-5 Transformer
宁萌Julie的博客
06-05 1381
详细介绍大名鼎鼎的 Transformer 。
【机器学习】李宏毅——Transformer
FavoriteStar的博客
09-17 3434
本文详细地介绍了Transformer算法，介绍了其内部重要的Encoder和Decoder，以及具体的实现过程和原理，还介绍了其训练过程以及训练过程中应该注意的种种问题。
李宏毅机器学习笔记：Adaptive Learning Rate算法详解与应用
本篇文章是关于李宏毅的机器学习学习笔记，主要聚焦于Adaptive Learning Rate在深度神经网络训练中的应用。Adaptive Learning Rate是一种策略，旨在解决固定学习率在训练过程中可能遇到的问题，如过早停止在非全局最...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值