李宏毅老师-transformer part2

最新推荐文章于 2024-10-16 01:06:03 发布
最新推荐文章于 2024-10-16 01:06:03 发布
阅读量168 收藏
点赞数
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46675905/article/details/124590170
版权
李宏毅老师的Transformer课程告一段落，烧脑的学习带来满满收获，开阔了人工智能视野。期待下期继续深入探索。
摘要由CSDN通过智能技术生成

慢慢来，会更好！

接下里，我们接着transformer part1，来继续学习Decoder
Decoder有两种，我们会花很多时间来学习AT

在这里插入图片描述

Decoder要做的事情就是把Encoder的输出读进去，至于怎么读进去，等一下见分晓

Decoder如何产生一段文字呢？
首先，要有一个特殊的符号BEGIN，是一个special Token，多加一个特殊的字，代表了开始这个事情
（每一个 Token,都可以把它用一个 One-Hot 的 Vector 来表示,
One-Hot Vector 其中一维是 1,其他都是 0,所以 BEGIN 也是用 One-Hot Vector 来表示）
其次，Decoder会吐出一个向量，这个vector和Vocabulary Size(比如中文词汇量) 是一样的
最后，分数最高的一个中文字，就是最终的输出

在这里插入图片描述

第一次的话只有BEGIN作为Decoder的输出
现在我们把第一次产生的output 机也当做一个输入
循环往复，产生output
在这个过程中，可能会因为一个output error而引发一系列错误呢？

在这里插入图片描述

我们先看一下Decoder的内部结构，不要惊讶哦！

在这里插入图片描述

我们现在把Encoder和Decoder放在一起，稍微比较他们之间的差距
你就会发现
如果我们把 Decoder 中间这一块,中间这一块盖起来
其实 Encoder 跟 Decoder,并没有那么大的差别

在这里插入图片描述

仔细观察的时候，就会发现
Encoder：Multi-Head Attention
Decoder：Masked Multi-Head Attention
让我们一起来看看下图，来理解masked的特点

在这里插入图片描述

最低0.47元/天 解锁文章
想研究又不会研究的研究生
关注
李宏毅老师-transformer part1
weixin_46675905的博客
05-05 143
transformer Transformer是一个sequence to sequence（seq2seq）的模型 输入一个序列，输出一个序列。这两个序列的长度、关系是由模型自己确定的。 為什麼我们不直接先做一个语音辨识,再做一个机器翻译,把语音辨识系统跟机器翻译系统,接起来就直接是语音翻译？ 那是因为世界上有7000种语言，这7000种语言中超过半数是没有文字的。 对于这些语言，根本就没有办法做语音辨识。 但我们有没有可能对这些语言,做语音翻译,直接把它翻译成,我们有办法阅读的文字呢？ 一个很好的
李宏毅老师-自监督学习（Self-supervised Learning）Part2
weixin_46675905的博客
05-08 329
慢慢来，会更好！ 大家好，我是一个想研究又不会研究的研究生 陪伴大家一起学习成长！ 我们先来学习Bert这个model 什么是Self-supervised Learning呢？ supervised：比如说现在输入一篇文章，判断它是正面还是负面文章 我们就需要文章和label（它是正面还是负面）才能够进行train self-supervised：在没有label的情况下，自己想办法做supervised 假设现在只有一堆文章，没有标注 想办法让一部分文章作为model的输入，另一部分作为label
李宏毅机器学习_Transformer
m0_68477761的博客
07-23 624
本周，我学习了一种强大的深度学习模型，名为Transformer。可以把Transformer看作是一种“翻译机”，它能够读取一种语言的文本（例如英文），然后用另一种语言（例如中文）生成相同的含义。Transformer的核心理念是“注意力机制”。像我们人类阅读文本时更关注某些词语，Transformer也会对输入数据中的重要部分给予更多关注。这使得模型能够更好地理解上下文关系，从而生成更准确的输出。让Transformer更特殊的是其“自注意力”（Self-Attention）机制。
transformer中Encoder、Decoder
qq_35627757的博客
10-07 580
Encoder结构图 Encode层处理过程 右上角部分为左上角省略号部分的内容 Decoder结构图 AT Decoder 一个一个output NAT Decoder 连续并行，一次output Cross Attention model Decoder生成Q，encoder生成K和V，输入到Cross Attention model。 ...
Transformer Encoder-Decoer 结构回顾
weixin_43301333的博客
12-02 6744
本文基于对的理解，再重新回顾一下有关于auto-encoder、auto-regressive等常见概念，以及Transformer-based model的结构。
李宏毅Transformer
u014422462的专栏
07-07 768
Transformer Transformer 其实就是Sequence-to-Sequence（Seq2Seq）架构的model，就是输入一堆向量，输出一堆向量，输出的向量数量由机器自己决定。 Seq2Seq架构 整体架构 Encode部分 Encode部分就是输入一堆向量，然后输出一堆向量，这个encoder部分可以是RNN或者CNN组成的，但是在Transformer里，Encoder得是Transformer的Encoder就是下图右边这部分。 首先我们看下Encoder的基本架构，就是红色框中
李宏毅自然语言处理——Transformer
日积月累，天道酬勤
07-22 2047
本文从Seq2Seq模型的思想开始，一步一步剖析Transformer的原理。
【Transformer】自注意力机制Self-Attention ｜ 各种网络归一化Normalization
RickieLim的博客
08-08 3669
Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。
自监督模型 Self-supervised learning（李宏毅2022
linyuxi_loretta的博客
10-27 2142
这个红色的怪物叫做ELMo 、最早的self-supervised learning model作业四的模型也是个transformer，只有0.1个millionCookie Monster等你来凑😼T5是Google做的，跟车子也没什么关系，在没有label情况下，自己想办法做supervised；将没有标注的资料分成两部分，一部分作为输入，一部分作为标注，进行训练；自监督学习是unsupervised learning中的一种方法；
李宏毅教授Attention课程笔记总结
weixin_42825220的博客
07-25 1540
Generation 可以用RNN生成文本、图片(grid lstm)、视频、手写字、语音 *grid lstm Conditional generation：不是随机产生，而是有情境地产生 应用：image caption/machine translation/chat-bot Encoder和Decoder的参数可以一样或者不一样，当参数一样时，参数比较少，比较不容...
2022李宏毅机器学习深度学习学习笔记第三周--transformer
qq_45612705的博客
05-08 1555
文章目录前言一、transformer怎么做seq2seq总结 前言 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 一、transformer transformer就是一个sequence-to-sequence（seq2seq）的模型，输入是一个序列，输出也是一个序列，但是输出的长度取决于机器。比如语音识别，聊天机器。 seq2seq for syntactic parsing 输入是一段文字，输出是一个树状的结构（可以看做
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
星辰不问
07-11 1328
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
深度学习 .dot()
2302_79865304的博客
10-13 520
在 MXNet 中，.dot()是用于计算两个数组的点积（矩阵乘法）的方法。这个方法适用于一维和二维数组，并返回它们的点积结果。
基于深度学习的车辆车型检测识别系统（YOLOV5）
最新发布
ANDROID6666666的博客
10-16 240
本项目旨在开发一个基于深度学习的车辆识别系统，采用先进的yoloV5网络架构，以实现对不同车型的精准识别。系统开发环境选用Pycharm集成开发环境，并结合Anaconda进行环境管理和包依赖的配置。为了确保系统的稳定性和高效性，我们选择了Python 3.8作为开发语言，并集成了opencv、PyQt5以及torch1.9等关键库和框架。在数据方面，准备了总共9000张图片，其中8000张用于训练模型，剩余的1000张用于测试模型的性能。
深度学习 shape 属性
2302_79865304的博客
10-13 214
在 MXNet 的ndarray中，shape属性用于获取数组的维度信息。它返回一个表示数组各维度大小的元组，可以帮助了解数据的结构和形状。
AI学习指南深度学习篇-变分自编码器（VAE）简介
俞兆鹏的博客
10-11 929
变分自编码器（VAE）在深度学习领域展现了其强大的生成能力，以其灵活性和高效性成功解决了许多复杂任务。与传统自编码器相比，VAE能够更好地建模潜在变量的分布，使得生成的样本更具多样性和真实性。随着研究的深入，VAE及其变体在许多领域中被广泛应用，并且继续吸引大量研究者的关注。
基于深度学习的复杂器官建模与模拟
weixin_42605076的博客
10-10 1261
基于深度学习的复杂器官建模与模拟是一项前沿技术，它利用深度学习模型从大量医学图像和临床数据中提取信息，生成复杂器官的三维结构模型，并对其进行功能模拟。这项技术对于医学诊断、手术规划、药物开发和疾病研究有重要意义，特别是针对心脏、肝脏、肺等复杂器官。
深度学习之残差网络ResNet
qq_37269626的博客
10-13 1097
ResNet
【鸟类识别系统】Python+卷积神经网络算法+人工智能+深度学习+ResNet50算法+计算机课设项目
子午的博客
10-12 920
鸟类识别系统。本系统采用Python作为主要开发语言，通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型，然后进行模型的迭代训练，得到一个识别精度较高的模型，然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面，实现用户上传一张鸟类图像，识别其名称。本项目通过人工智能技术实现对鸟类图像的自动识别，满足用户在日常生活中快速、准确地识别鸟类的需求。
李宏毅机器学习HW5-Transformer数据
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder Representations from Transformers）就是其变种之一。 在HW5的数据部分，学生可能会接触到如何加载和预处理Transformer需要的文本数据，比如常见的英文文本数据集如IMDB电影评论、Twitter情感分析数据，或者是更专业的如WMT机器翻译任务的数据集。他们需要对数据进行分词（Tokenization）、编码（如使用WordPiece或SentencePiece）、填充零（Padding）、切分成训练、验证和测试集等步骤。 此外，可能还会涉及如何配置Transformer模型的结构参数（如头的数量、隐藏层的大小等）、调整优化器和学习率策略，并通过训练过程监控指标如 perplexity 或 BLEU分数来评估模型性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值