5.0 Transformer

最新推荐文章于 2024-11-01 17:13:19 发布
最新推荐文章于 2024-11-01 17:13:19 发布
阅读量105 收藏
点赞数
分类专栏： 李宏毅机器学习课程 文章标签： transformer 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengguowuhen0230/article/details/130655429
版权

Transformer

一、Seq2seq模型和常见应用

1.1 Seq2seq模型

Seq2seq指的是输入是序列，输出也是序列的模型，输出序列的长度由模型自身决定。Transformer是Seq2seq模型的一种。

1.2 常见应用

  • 语音识别(Speech Recognition):输入是声音序列，输出是文字，输入和输出是同一种语言
  • 机器翻译(Machine Translation):输入是一种语言的文字，输出是另一种语言的文字
  • 语音翻译(Speech Translation):输入是一种语言的声音序列，输出是另外一种语言的文字
  • 语言合成(Text-to-Speech(TTS)):输入是文字，输出是声音序列
  • 聊天机器人(Chatbot)
  • 多标签分类(Multi-label Classification):比如输入一篇新闻文章，直接通过Seq2seq模型输出属于哪些题材
    大部分的NLP问题都可以被看成是QA(Question Answering)问答问题，即输出问题和文本，输出答案。

二、Transformer结构

2.1 整体结构

由Encoder和Decoder两部分组成，Encoder的结果会通过Cross Attention作为Decoder的中间输入(K,V)。
在这里插入图片描述

2.2 Encoder

输入一个序列，输出相同长度的序列。中间的结构是多头注意力机制+residual connection & layer normalization + 全连接层 + residual connection & layer normalization，这个结构可以重复(N次)。
layer norm和batch norm的区别：前者是对所有输入特征进行标准化，后者是对同一特征的所有样本进行标准化。

在这里插入图片描述

2.3 Decoder

2.3.1 Decoder 结构

与Encoder的区别是第一个多头注意力是加掩码(mask)的，中间多一个Cross Attention的部分。
加mask的原因是保证当前的输出只受之前输入的影响。
在这里插入图片描述
Cross Attention的原理
Encoder的输出向量生成K和V，Decoder本身产生Q，这样共同形成Cross Attention机制，产生向前传播的向量序列。
在这里插入图片描述

2.3.2 Autoregressive(AT) 和Non-autoregressive(NAT)

AT: 一开始输入start向量，然后每次产生的结果做为下一个输入，当输出向量代表end时，输出结束。
AT
NAT: 一次性输入全部为start的向量，并行生成输出向量。一般情况下，忽略end之后的token。NAT性能通常比AT差。
NAT

三、Training和Testing过程的区别

3.1Training

直接用标准答案做为输入(Teacher Forcing)，最小化交叉熵损失。
在这里插入图片描述

3.2Testing

用bos(begin of sentence)做为输入，一次产生一个新向量，然后该向量作为预测下一个结果的输入

风过无痕0230
关注
专栏目录
NLP-生成模型-2017-Transfomer（三）：基本测试【copy任务】【方式：①自定义构建Transformer模型、②使用Transformer官方组件构建】
u013250861的博客
05-03 908
一、Transfomer模型基本测试【copy任务】 # copy任务：任务描述: 针对数字序列进行学习, 学习的最终目标是使输出与输入的序列相同. 如输入[1, 5, 8, 9, 3], 输出也是[1, 5, 8, 9, 3]. # 任务意义: copy任务在模型基础测试中具有重要意义，因为copy操作对于模型来讲是一条明显规律, 因此模型能否在短时间内，小数据集中学会它，可以帮助我们断定模型所有过程是否正常，是否已具备基本学习能力. # 1 第一步: 数据集生成器 # 1.1 构建数据集生成器 def
YOLOv5、YOLOv7改进之二十九：引入Swin Transformer v2.0版本
m0_70388905的博客
10-08 8288
将Swin transformer 2.0版本模块融入YOLO系列算法中，提高模型的全局信息获取能力。
Transformer实战 单词预测
qq_60245590的博客
04-26 361
编码器层堆栈# 编码器堆栈. pytorch已经实现了Transformer编码器层的堆栈，这里直接调用即可# 初始化权重"""Arguments:src: Tensor, 形状为 [seq_len, batch_size]src_mask: Tensor, 形状为 [seq_len, seq_len]Returns:最终的 Tensor, 形状为 [seq_len, batch_size, ntoken]"""# 位置编码器的初始化部分# 注册为持久状态变量，不参与参数优化。
Transformer全流程细致讲解
xy_optics的博客
05-05 1609
文章目录1. Transformer 架构概述2. 编码器（Encoder）2.1 输入嵌入层（Input Embedding Layer）2.1.1 一个简单的示例2.2 位置编码（Positional Encoding）2.2.1 Transformer中采用的位置编码方式2.2.2 公式中符号的含义2.3. 多头自注意力层（Multi-Head Self-Attention Layer）2.3.1 自注意力机制（Self-Attention Mechanism）2.3.4 多头自注意力层的构成2.4
【Transformer】4、Swin Transformer
呆呆的猫的博客
08-08 4667
文章目录一、背景二、动机三、方法四、效果 代码：https://github.com/microsoft/Swin-Transformer 一、背景 Transformer 最开始是在 NLP 中使用较多，因为其 self-attention 组件能够对 Long-range 的信息进行建模，近期有很多人开始将 Transformer 应用到计算机视觉中，作为一个类似于 CNN 的特征提取器。 二、动机 NLP 到 CV ，主要有两个问题： 视觉场景中，目标大小不同 视觉场景中，图像的分辨率远远大于句子.
Transformer学习（一）
weixin_42038527的博客
03-02 1115
学习了文本嵌入层的作用:无论是源文本嵌入还是目标文本嵌入，都是为了将文本中词汇的数字表示转变为向量表示， 希望在这样的高维空间捕捉词汇间的关系。学习并实现了文本嵌入层的类：Embeddings初始化函数以d_model： 词嵌入维度， 和vocab：词汇总数为参数，内部主要使用了nn中的预定层Embedding进行词嵌入。在forward函数中，将输入x传入到Embedding的实例化对象中， 然后乘以一个根号下d_model进行缩放， 控制数值大小。它的输出是文本嵌入后的结果。
简单的Transformer模型手算示例
星宇_大佬养成时的博客
05-21 883
通过这个手算示例，我们展示了Transformer模型使用三头注意力机制、每个注意力头的维数为4，隐藏层维度为5的前向传播、计算损失和反向传播的基本过程。为了简化计算，我们对注意力计算和softmax进行了近似处理。实际应用中，Transformer模型的计算会复杂得多，但基本原理是相同的。这个例子有助于理解Transformer模型的基本工作机制和训练过程。
如何用PyTorch训练一个Transformer语言模型学习词嵌入
oldsummer
05-04 1705
Transformer模型出处 2017 《Attention is all you need》 Transformer中的位置编码是什么意思？ https://kazemnejad.com/blog/transformer_architecture_positional_encoding/​kazemnejad.com 运行以下代码请确保： PyTorch=1.9.0 torchtext=0.10.0 否则肯定报错 import math from typing import Tu.
【代码】swin-transformer: Swin Transformer VS Vision Transformer
nyist_yangguang的博客
07-13 186
在Swin Transformer中使用了Windows Multi-Head Self-Attention(W-MSA)的概念，比如在下图的4倍下采样和8倍下采样中，将特征图划分成了多个不相交的区域（Window），并且Multi-Head Self-Attention只在每个窗口（Window）内进行。相对于Vision Transformer中直接对整个（Global）特征图进行Multi-Head Self-Attention，这样做的目的是能够减少计算量的，尤其是在浅层特征图很大的时候。
《Spatial Transformer Networks》
正在挣扎中的人
11-03 760
1. 研究问题 普通的CNN只有局部的平移不变性，而对于大的变换不具有不变性，这样，当新数据相对于训练数据发生大的变换时，可能会导致无法准确的预测。比如，对于分类任务来说，当测试集中的一只猫发生了平移、旋转、缩放等操作，那么很容易造成分类错误。 2. 研究方法 提出了一个可微分的spatial transformer module（空间变换模块），该模块可以嵌入CNN中，形成spatial transformer networks（空间变换网络）进行端到端的训练，从而赋予CNN对输入图像以及特征图进行任意空
tomcart 部署 solr5.0的部署方法
04-01
<entity name="zpxx" transformer="ClobTransformer" pk="id" query="select id, contents from BtxCMS_News" deltaImportQuery="select id, contents from BtxCMS_News" deltaQuery="SELECT id FROM BtxCMS_...
Transformer大模型实战 最终损失函数
AI架构设计之禅
06-09 221
1.背景介绍 Transformer模型自从2017年被提出以来，已经成为了自然语言处理领域的重要基石。这个模型以其独特的自注意力机制和编码器-解码器架构，打破了传统的序列处理模型的限制，实现了在各种任务上的优异性能。然而，对于大规模的Transformer模型，如何设计和优化损失函数，使得模型能够更好地学习和表达数据的复杂模式，是一个重要而具有挑战性
主干网络篇 | YOLOv5/v7 更换主干网络之 SwinTransformer | Vision Transformer using Shifted Windows
YOLOv8项目贡献者
04-13 5959
YOLOv5/v7 更换主干网络之 SwinTransformer
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Semantic Role Labeling (SRL).
段智华的博客
10-28 1271
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Semantic Role Labeling (SRL). 目录 Semantic Role Labeling with BERT-Based Transformers星空智能对话机器人系列博客 Semantic Role Labeling with BERT-Based Transformers Transformers在过去几年中取得了比上一代NLP更大的进步。标准NLU方法首先学习句法和词汇特征来解释句子结构。在运
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 1330
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
UOS AI 1.6 版本升级，如何实现精准搜索，效率翻倍？
vickynesss的博客
11-01 424
通过直接接入互联网的实时数据流，搜索结果变得多样化，不仅限于文字总结，还包括思维导图、事件与人物的综合概述，以及图片、视频、音频等多种形式，显著提高了回答的准确性和全面性。全局搜索全新搭载端侧大模型：支持离线自然语言搜索，无论身在何处，即使没有网络，只需通过快捷键“Shift+space(空格键）”唤醒全局搜索，都能轻松找到所需文件。：对于日常积累的海量截图，只需借助全局搜索功能，简要描述图片内的文字信息，便能迅速锁定并检索到所需图片。：重要信息直接添加到知识库，方便日后查阅，让全局搜索成为你的第二大脑。
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 2003
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
人工智能—机器学习-图像处理
中段丸家
10-31 1040
使用深度学习算法来分析医学影像（如X光、CT扫描、MRI），帮助医生更快、更准确地做出诊断。：图像处理技术在自动驾驶汽车中至关重要，用于识别路标、行人和其他车辆。：通过机器学习分析监控视频，实时检测异常行为或可疑活动，提高安全性。：在身份验证和安防领域广泛应用，尤其在金融服务和个人设备解锁中。：利用图像处理技术提升用户体验，实现更沉浸的互动环境。
如何在 AI 时代打造你的核心竞争力？
最新发布
玉树芝兰
11-01 307
（注：本文为小报童精选文章。已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费）焦虑在《AI 研究已摘得诺奖桂冠，普通科研工作者将何去何从？》一文中我谈过自己对目前 AI 技术浪潮对大众影响的体会——未来已来，只是分布不均。很多人在还没有意识到 AI 带来的变革潜能时，觉得与自己无关，日子该怎么过怎么过，倒也轻松。而一旦突然意识到 AI 的重要性，就会变得焦虑万分。这种焦虑，就是挣扎与思考在外...
深入理解Transformer模型设计要点
计算机视觉领域中的Transformer模型变体，如ViT（Vision Transformer），尝试将Transformer架构应用于图像处理任务。通过将图像分割为多个小块（patches），每个小块被处理为序列中的一个元素，然后使用Transformer...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值