【李宏毅2021机器学习深度学习】Transform

最新推荐文章于 2024-08-23 13:59:54 发布
最新推荐文章于 2024-08-23 13:59:54 发布
阅读量1.7k 收藏 4
点赞数
分类专栏： 深度学习_李宏毅 文章标签： 机器学习 深度学习 语音识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/121763266
版权

文章目录

写在前面

[视频学习-bilibili] | [课程主页——sample code & slide] | [ML2021学习笔记] | [homework_code]

Transform是什么

在这里插入图片描述

硬train一发（语音识别）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

语音合成

在这里插入图片描述

Seq2seq其它应用（文字->文字）

在这里插入图片描述

其他应用QA

在这里插入图片描述

特制化模型有更好的效果，参考往年教程

在这里插入图片描述

其它应用（文法解析）

在这里插入图片描述
在这里插入图片描述

其它应用（Multi-label Classification，硬做）

在这里插入图片描述

Object Detection（硬做）

在这里插入图片描述

Seq2seq

在这里插入图片描述
在这里插入图片描述

Encoder

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其它Transform架构（更多）

在这里插入图片描述

Decoder

在这里插入图片描述

Autoregressive

在这里插入图片描述

在这里插入图片描述

Masker（不能看后面的资讯）

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

输出是多少个呢？（Adding Stop Token）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Non-autoregressive（NAT）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Encoder - Decoder

在这里插入图片描述
在这里插入图片描述

Cross attention（运作过程）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

各式各样的连接方式

在这里插入图片描述

文章目录

Training

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Tips

Copy mechanism

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Guided Attention

训练的时候也会出现奇奇怪怪的问题（比如短的发财，发没发音，只有财，漏字了）

在这里插入图片描述

解决方法：从左往右限制（也是大坑，留个资料）

在这里插入图片描述

文章目录

Beam Search(有时有用（确定性答案，语音合成），有时无用（随机性，创造性的任务不行）)

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

评估指标（BLEU score）

在这里插入图片描述
在这里插入图片描述

exposure bias（训练的时候都是正确的，但是预测的时候不知道，可能一步错步步错。一个可能的办法：给训练的时候加点错误的资料…这一招叫做：Schedule Sampling）

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

讲完了（Encoder-Decoder-它们中间的关系-怎么训练-Tips）

在这里插入图片描述

算法研究员
关注
专栏目录
李宏毅2021机器学习深度学习笔记PPT作业
09-05
《李宏毅2021机器学习深度学习笔记PPT作业》是一份涵盖了现代人工智能领域核心知识的资源，主要集中在机器学习和深度学习这两个关键分支上。这份资料可能包括了李宏毅教授在2021年课程中的讲义、课后作业以及相关的...
深度学习-Transformer详解
fzz97_的博客
02-06 9780
主要介绍了Transformer模型，注意力机制
深度学习 Transformer机制
Fantastic
10-30 6191
Transformer
深度学习学习经验——变换器（Transformer）
最新发布
Linductor的博客
08-23 1069
变换器（Transformer）是一种用于处理序列数据的深度学习模型，与循环神经网络（RNN）不同，它不依赖于顺序处理数据，而是依靠一种称为**注意力机制**（Attention Mechanism）的技术来捕捉序列中的依赖关系。Transformer 的核心组件包括 **自注意力**（Self-Attention）和 **多头注意力**（Multi-Head Attention），这些机制使 Transformer 能够在自然语言处理、机器翻译等任务中表现出色。
深度学习（一）最通俗易懂的 Transformer
青年有志
08-09 2580
Transformer 学习篇
深度学习（PyTorch）——Transforms的使用方法与技巧
qq_42233059的博客
09-01 1959
深度学习（PyTorch）——Transforms的使用方法与技巧
深度学习基础知识数据 数据预处理transforms流程讲解
guoqingru0311的博客
10-11 1315
深度学习基础知识数据 数据预处理transforms流程讲解
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，持续更新中 PPT，作业代码，学习笔记，上课代码，tensorflow|pytorch将会上传到github，欢迎Star，请多多鼓励。 如何下载本库内容 下载方式 1 git工具下载 ​ ...
李宏毅机器学习2021HW3食物数据集
07-06
1、本资源为台大李宏毅深度学习课程作业数据集。 2、训练集内含课程所需数据集 3、提供下载便利
李宏毅老师深度学习PPT
11-18
李宏毅老师在深度学习领域的教学资源深受业界好评，他的课程覆盖了多种先进技术，包括元学习、终身学习和强化学习等。 元学习，也称为学习学习，是一种使机器学习模型能够快速适应新任务的方法。在元学习中，模型...
深度学习——transformer
菜到怀疑人生的博客
04-07 4028
文章目录前言self attention 前言 目前transformer在计算机视觉中非常火热，在面试过程中，也被面试官询问过相应内容，在此做一个简单的总结 self attention Transformer中的self attention和CV中的attention机制非常近似，都是通过建立一组输入数据之间的联系，来决定哪部分数据更为重要。本节将介绍self attention的具体流程 首先，self attention中存在三个非常重要的vector，分别是key vector、query vec
transformer理解
qq_22613769的博客
08-31 6351
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN和LSTM 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 1.Transformer 结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构。 ...
深度学习 Transformer架构解析
热门推荐
mengxianglong123的博客
08-10 1万+
2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNET，roBERT等模型击败了BERT，但是他们的核心没有变，仍然是：Transformer.相比之前占领市场的LSTM和GRU模型，Transformer有
深度学习（三）——Transforms的使用
2401_85325519的博客
06-13 1150
通过transforms.ToTensor去说明两个问题：第一，transforms该如何使用；第二，Tensor数据类型相较于普通数据类型有什么区别，为什么需要tensor这个数据类型。关注函数的输入、输出的数据类型多看官方文档，比网上文档准确得多关注方法需要什么参数。关注每个函数的__init__，比如，一般情况下，需要输入的参数为\(padding\)，其他参数使用默认值即可。这时候还需要了解一下\(padding\)的作用及输入的数据类型。
pytroch深度学习——transforms的使用
m0_51474171的博客
06-05 596
按住Ctrl查看transforms的源码可以知道，transforms就是一个python文件，里面定义了很多类，每一个类都是一个工具 在结构那里，可以看到有很多的类 通过ToTensor来学习transforms如何使用以及为什么使用tensor数据类型比如ToTensor的使用: 为什么需要tensor数据类型呢？ 可以发现基本上transforms里面的每一个类都有一个内置方法__call__()，这个方法和普通的方法的区别其实就是，普通方法一般是类的对象通过的方式调用，但是call函数不需要
PyTorch深度学习入门笔记（五）Transforms的使用
一名FPGA芯片设计爱好者的技术博客
01-16 3983
课程学习笔记，课程链接 学习笔记同步发布在我的个人网站上，欢迎来访查看。 文章目录一、Transforms的使用二、Tensor数据类型三、常见的Transforms 一、Transforms的使用 torchvision中的transforms主要是对图片进行一些变换。 tranforms对应 tranforms.py 文件，里面定义了很多类，输入一个图片对象，返回经过处理的图片对象。 transforms.py就像一个工具箱，里面定义的各种类就像各种工具，图片就是输入对象，经过工具处理，输出期望的图片
【深度学习】从self-attention到transform（self-attention入坑指南）
五好市民金闪闪的博客
07-24 724
简介 该教程主要参考的是台大李宏毅的网课视频，附上视频链接：台大李宏毅self-attention教程 文中图片均引自台大李宏毅的PPT，需要PPT的童鞋请戳这里：教程配套PPT 本文针对视频中的一些重点进行总结，看不懂的童鞋还请去看原视频，毕竟李宏毅yyds！！ 背景什么的就不再介绍了，网上一搜一大堆，不知道背景的童鞋可以先去度娘问一下。 转载请注明出处。 正文开始 self-attention主要是针对seq2seq的，根据输入和输出的向量长度的不同可以分为三种情况： 输入和输出长度相同，也就是说输入
作为模型大师，学习transform到底有多重要？
2401_84494441的博客
06-03 1309
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
深度学习：图像变换transforms
qq_42911863的博客
08-11 1616
pytorch，transfrom图像变换
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值