（深度学习）Transformer

最新推荐文章于 2024-09-27 19:17:02 发布
最新推荐文章于 2024-09-27 19:17:02 发布
阅读量2.1k 收藏
点赞数
分类专栏： 深度学习 文章标签： 线性代数 矩阵 几何学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KNIGHT_HOY/article/details/123752870
版权

文章目录

Transformer

Application

for speech

  • 实质上是seq2seq

  • 语音辨识；机器翻译 ；语音翻译（比如闽南语–》中文 由于很多语言没有文字）；共同的特征都是输入固定长度seq 输出的seq长度由模型自己决定
    在这里插入图片描述

  • 语音翻译

在这里插入图片描述

  • 语音合成（输入中文 输出闽南语的声音讯号）

for chatbot

在这里插入图片描述

NLP

  • 大部分NLP可以看成是QA
    在这里插入图片描述

Multi-label Classification

  • 一个object对应多个labels

  • 让model决定输出多少长的seq

在这里插入图片描述

Object Detection

在这里插入图片描述

seq2seq

  • 包含一个Encoder和Decoder

  • Encoder和Decoder可以用self-attention去完成
    在这里插入图片描述

Encoder

  • 需要做的是输入一排向量 输出一排向量
    • 总体架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dV1yZaXz-1648265057036)(/home/hoyard/Pictures/2022-03-25 08-52-09 的屏幕截图.png)]

  • 通过多个block

    • 每个block input–》（self-attention + input）

在这里插入图片描述

  • self-attention的输出会加上输入的seq（residual）

  • 再进行layer norm —》FC FC也采用residual的方式

  • FC —> Norm Layer

在这里插入图片描述

​

Decoder（Autoregressive）

  • 将Encoder输出的向量放入Decoder

  • 给decoder一个信号BOS（begin of seq）（one-hot vector）

  • decoder输出一个向量 向量长度是字典的字数 每一个字对应一个值 比如中文就是字典里的字数

  • 选择向量分数最大的输出那个字

在这里插入图片描述

​

  • 输入第二个seq 循环上述步骤 而第二个输入是decoder的第一个输出
  • 故存在问题：一步错步步错

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YC6z0RAn-1648265057039)(/home/hoyard/Pictures/2022-03-26 09-02-45 的屏幕截图.png)]

Decode网络结构

在这里插入图片描述

  • Masked

    • 产生信息时不能用当前seq后面的seq信息
      在这里插入图片描述

    • 产生b2

在这里插入图片描述

  • why masked：decoder里面是先有a1 才能产生 a2

  • Decoder 自己学习产生seq的长度 故希望输出玩期望seq之后会输出end vector

在这里插入图片描述

NAT（None Autoregressive） Decoder

  • 直接输入特定长度的Begin token 产生对应长度的vector

  • 无法确定输入begin的长度

    • learn一个classify model 输入是encoder的输入 输出一个数字 这个数字就是begin的长度
    • 直接给出一个最大长度的begin 在output中找到end 之后的输出忽略

  • 对比AT的优势：

    • 平行处理
    • 输出长度可控

在这里插入图片描述

Encoder2Decoder

在这里插入图片描述

Cross attention
  • q来自于Decoder k v来自于Encoder
    在这里插入图片描述
    在这里插入图片描述

Training

  • 希望输出的one-hot vector跟gt的one-hot vector越接近越好

  • 类似于分类问题
    在这里插入图片描述

  • 每一个输出都有一个cross entropy 希望所有加起来的entropy总和最小

  • 训练时候将gt作为input(Teaching Forcing)
    在这里插入图片描述

Hoyyyaard
关注
专栏目录
深度学习-详细讲解Transformer
ssshyeong的博客
10-14 3136
@TOC[图解Transformer] 1.关于Transformer Transformer 是在论文Attention is All You Need 中提出的。在这篇文章中，我们将介绍The Transformer——一种使用注意力来提高这些模型训练速度的模型。Transformers 在特定任务中的表现优于 Google 神经机器翻译模型。然而，最大的好处来自 The Transformer 如何将其自身用于并行化。因此，让我们尝试分解模型并看看它是如何运作的。 2.宏观视角分析 让我们首先将模型视
【深度学习】Transformer
开心星人的博客
07-03 818
李宏毅深度学习笔记Transformer 是一个基于自注意力的序列到序列模型，与基于循环神经网络的序列到序列模型不同，其可以能够并行计算。
深度学习学习经验——变换器（Transformer）
Linductor的博客
08-23 1097
变换器（Transformer）是一种用于处理序列数据的深度学习模型，与循环神经网络（RNN）不同，它不依赖于顺序处理数据，而是依靠一种称为**注意力机制**（Attention Mechanism）的技术来捕捉序列中的依赖关系。Transformer 的核心组件包括 **自注意力**（Self-Attention）和 **多头注意力**（Multi-Head Attention），这些机制使 Transformer 能够在自然语言处理、机器翻译等任务中表现出色。
深度学习——transformer
菜到怀疑人生的博客
04-07 4038
文章目录前言self attention 前言 目前transformer在计算机视觉中非常火热，在面试过程中，也被面试官询问过相应内容，在此做一个简单的总结 self attention Transformer中的self attention和CV中的attention机制非常近似，都是通过建立一组输入数据之间的联系，来决定哪部分数据更为重要。本节将介绍self attention的具体流程 首先，self attention中存在三个非常重要的vector，分别是key vector、query vec
深度学习：transformer模型
AcceptedLin的博客
03-30 767
深度学习：transformer模型 Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合c...
基于深度学习Transformer实现木薯叶病害识别分类源码.zip
05-30
基于深度学习Transformer实现木薯叶病害识别分类源码.zip基于深度学习Transformer实现木薯叶病害识别分类源码.zip基于深度学习Transformer实现木薯叶病害识别分类源码.zip基于深度学习Transformer实现木薯叶病害识别...
深度学习自然语言处理-Transformer模型.zip
08-29
Transformer模型是深度学习领域中自然语言处理（NLP）的一次重大突破，由Google的研究团队在2017年提出并发表在《Attention is All You Need》论文中。该模型摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）...
深度学习-Transformer实战系列课程
09-23
在"深度学习-Transformer实战系列课程"中，你将深入学习Transformer模型的理论基础、实现细节以及在各种NLP任务中的应用。课程可能会涵盖以下内容： 1. Transformer模型的架构和原理 2. 自注意力和多头注意力的数学...
Transformer深度讲解，进一步给出其在NLP和CV下的发展，共95页ppt，全网最好的讲解，没有之一
12-21
Transformer模型是深度学习领域中的一个重要里程碑，特别是在自然语言处理（NLP）和计算机视觉（CV）领域。2017年，Transformer模型由Vaswani等人在论文《Attention is All You Need》中首次提出，它彻底改变了序列...
MATLAB中深度学习Transformer模型的实现与应用
资源摘要信息:"深度学习Transformer模型在MATLAB中的应用" 一、深度学习与Transformer模型概述 深度学习是人工智能领域的一个重要分支，其核心是通过构建多层的神经网络来模拟人脑处理信息的方式，以解决各种复杂的...
【深度学习之Transformer】
m0_53374472的博客
10-21 1070
Transformer学习笔记
（通俗易懂）深度学习Transformer模型介绍
qq_43703185的博客
09-15 2496
原文链接：https://xiaosongshine.blog.csdn.net/article/details/86547433 Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而
深度学习-Transformer详解
fzz97_的博客
02-06 9798
主要介绍了Transformer模型，注意力机制
深度学习之Transformer模型及原理学习篇（详细！）
最新发布
weixin_44956153的博客
09-27 1233
Transformer 与 RNN 不同，可以较好地并行训练Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加 Positional Encoding 位置编码，否则 Transformer 就是一个词袋模型了Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V 矩阵通过线性变换得到。
[深度学习] Transformer
藓类少女的博客
06-26 1786
Transformer是一种深度学习模型，最早由Vaswani等人在2017年的论文中提出。它最初用于自然语言处理（NLP）任务，但其架构的灵活性使其在许多其他领域也表现出色，如计算机视觉、时间序列分析等。以下是对Transformer模型的详细介绍。
深度学习 | Transformer模型及代码实现
"You are worthy! You can do it!"
01-01 5554
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
视频教程-大白话Transformer结构-从此爱上Transformer-深度学习
weixin_34808543的博客
05-28 644
大白话Transformer结构-从此爱上Transformer 李虎，联想...
深度学习transformer
09-06
深度学习中的Transformer是一种用于序列建模的架构，它在自然语言处理和机器翻译等任务中取得了很大的成功。Transformer通过使用注意力机制来建立输入序列与输出序列之间的长距离依赖关系，在处理长序列时表现出色。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值