Transformer

已于 2023-05-14 18:03:50 修改
阅读量97 收藏
点赞数
文章标签： transformer 深度学习 人工智能
于 2023-05-14 18:02:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Diano_lx/article/details/130671506
版权

李宏毅Transformer详解，视频链接：https://www.bilibili.com/video/BV1v3411r78R?p=3&vd_source=8de64249f3698ea673fe42aabb025b29

1 Seq2seq应用

  • 语音辨识、
  • 机器翻译、
  • 语音翻译
  • Text to Speech
  • Mutil-label Classification
  • Object Dection

2 Seq2Seq 概述

在这里插入图片描述

图2.1 Seq2Seq简化模型
- Encoder:处理Input seqence，并将处理的结果给Decoder - Decoder决定输出什么样的Sequence

3 Encoder

定义：给出 vector set 输入 vector set，
实现方式：self-attention、RNN、CNN
transformer中的Encoder使用的是self-attention，下面以Transformer模型举例
在这里插入图片描述

图3.1 Transformer Encoder概览
![在这里插入图片描述](https://img-blog.csdnimg.cn/076279d96a9f4961b6486c084eb7d5d0.png)
图3.2 Encoder模块
![在这里插入图片描述](https://img-blog.csdnimg.cn/e32c06a8bb2b4e29971e72f60bb39950.png)
图3.3 Block模块细化模型样例

4 Decoder

在这里插入图片描述

两种

  • Autoregressive(AT)

4.1 Autogressive

Speech Recognition as example

  1. Encoder的输出如何读入Decoder

4.1.1 Decoder如何产生一段文字

  • 开始符号（special token）
    在这里插入图片描述
    在这里插入图片描述

4.1.2 Decoder如何确定输出的长度（output length）

  1. Add ‘end’ token

4.2 Masked Self-Atention

在这里插入图片描述

图4. Self-Attention简略图
每个$b^i$的输出都是看过完整的input之后才做的决定，下面是由Self-Attention 转为Masked Self-Attention之后 ![在这里插入图片描述](https://img-blog.csdnimg.cn/ab3521858c304092a3739c5d525cc1cd.png)
图4. Masked Self-Attention简略图

5 Encoder-Decoder

在这里插入图片描述

图5.1 Encoder-Decoder结构图

在这里插入图片描述

图5.2 Cross-Attention运作过程

6 Training

以语音辨识为例
在这里插入图片描述

注意：训练时Decoder给输入正确答案

寒杨柳风
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图解Transformer（完整版）
龙心尘
01-17 40万+
审校：百度NLP、龙心尘 翻译：张驰、毅航、Conrad 原作者：Jay Alammar 原链接：https://jalammar.github.io/illustrated-transformer/ 编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型...
Transformer 模型详解
步入人工智能
05-29 26万+
本内容主要介绍 Transformer 模型的具体实现。
Vision Transformer详解
霹雳吧啦Wz
06-26 25万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
Swin-Transformer网络结构详解
霹雳吧啦Wz
11-03 22万+
文章目录0 前言1 网络整体框架2 Patch Merging详解3 W-MSA详解Ω(MSA)\Omega (MSA)Ω(MSA)模块计算量Ω(W−MSA)\Omega (W-MSA)Ω(W−MSA)模块计算量4 SW-MSA详解5 Relative Position Bias详解6 模型详细配置参数 0 前言 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。Swin Transformer网络是Tran
【超详细】【原理篇&实战篇】一文读懂Transformer
艰难困苦，玉汝于成。
11-02 13万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
史上最小白之Transformer详解
热门推荐
Tink1995的博客
03-27 32万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
transformer
zhangxu
09-28 3479
transformer最早于2017年google机器翻译团队提出，也就是著名的 《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发
Transformer详解
qq_52302919的博客
12-29 6万+
近期Transformer MLP系列模型的出现，增加了CV领域的多样性。但是Transformer这一不同领域的模型对学习者来说需要一个细致的学习过程.下面就是本菜鸟总结学习路线。
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 8万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
tensorflow实现的swin-transformer代码
03-29
Swin Transformer是一种基于Transformer架构的深度学习模型，由卢启程等人在2021年提出，主要用于计算机视觉任务，如图像分类、目标检测和语义分割。它在传统的Transformer架构基础上引入了窗口注意力机制，解决了...
【人工智能】项目案例分析：使用LSTM生成图书脚本
weixin_51306394的博客
08-25 1277
本项目旨在利用LSTM（长短期记忆网络）生成图书脚本。LSTM是RNN（递归神经网络）的一种变体，特别适用于处理和预测时间序列数据中的长期依赖关系。在本案例中，我们将利用LSTM网络来学习和生成类似文学作品的文本序列，例如莎士比亚的戏剧或现代小说片段。
基于深度学习的游客满意度分析与评论分析【情感分析、主题分析】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-28 879
随着物联网、云计算、虚拟现实等新兴技术的快速发展，大数据越来越广泛的运用到各领域中，不同于传统的数据分析，大数据分析不仅仅能够对一些大量的、简单的数据进行处理，通能够处理一些复杂的数据，例如文本数据、声音数据以及图像数据等，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低的特征。通过大数据分析，帮助旅游企业或景区获取游客各个方面信息，从而更加准确地了解游客的消费行为、偏好、需求，发现游客满意度的影响因素，制定针对性的改进措施，提升游客满意度。近年来我国经济的快速发展和人民生活水平的不断提高，旅
通信领域深度学习的网址有哪些
RZer的博客
08-25 224
通信领域深度学习的网址有哪些
深度学习（DL）算法分分类
最新发布
m0_46171719的博客
08-28 238
深度学习（DL）算法是机器学习的一个子集，专注于使用深度神经网络（DNN）来模拟人脑的学习过程，从而解决复杂的数据处理和模式识别问题。
python实现循环神经网络
weixin_45570158的博客
08-25 174
为了提供一个基础的循环神经网络（RNN）示例，我们可以使用TensorFlow和Keras，这是构建和训练神经网络常用的两个库。以下是一个简单的RNN实现，用于处理序列数据（如时间序列数据或文本数据）。在这个例子中，我们将使用一个简化的任务：模拟字符级别的文本生成。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由CSDN开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务中取得了很大的成功。TransformER利用Transformer模型的强大表达能力，能够对输入文本进行编码，并学习到实体之间的关系。 TransformER的工作流程如下： 1. 输入文本预处理：将输入文本进行分词、词性标注等预处理操作。 2. 实体识别：使用命名实体识别技术，识别出文本中的实体，如人名、地名、组织机构等。 3. 关系抽取：通过Transformer模型对输入文本进行编码，学习到实体之间的关系。 4. 输出结果：将抽取到的实体和关系进行整理和展示。 TransformER在许多实际应用中具有广泛的应用，如信息抽取、问答系统、知识图谱构建等。它能够帮助用户从大量文本中快速准确地提取出有用的信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值