Transformer发展历程 Decoder输出特征利用DCT解码投分割

已于 2023-01-16 11:53:04 修改
阅读量4.4k 收藏 12
点赞数 7
分类专栏： 人工智能论文精度 文章标签： transformer 深度学习 人工智能
于 2022-10-01 15:31:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51339444/article/details/127108281
版权

一、Transformer

1. 起源

Transformer由NLP发家，用于NLP任务。

2. 动机

自适应地发掘长短关联。

3. 关联方式

自注意力/编码解码注意力。

4. 技巧

位置编码（Position Encoding）。
在这里插入图片描述

5. 自注意力机制

在这里插入图片描述
首先需要明白QKV分别是个啥。对于输入的每一个单词都生成三个vector，分别是query，key和value。这三个vector如何生成？将embedding层输出的向量分别输入三个神经网络，三个神经网络输出的向量就是query，key和value. 这三个神经网络是随着其它部分一起端到端训练的。因此自注意力倾向于一种affinity。
在这里插入图片描述
规定了输出，隐含地监督了网络的注意力部分让一个类别的部分去亲和为同样的输出。也就是每个pixel的Softmax（权重）*V尽量一致，Softmax（权重）来自QK，此时就进一步隐含让Q K使同类像素更亲和/一致。
在这里插入图片描述
但是，QKV是通过什么得到的呢？实际上，编码器Encoder提供KV，解码器Decoder提供K，如下图所示👇：

在这里插入图片描述

二、Vision Transformer(ViT)

1. 动机

上文我们说过，transformer起源于NLP，科学家们就开始思考，transformer这么好用，能不能用在CV领域呢？由于reansformer需要的输入是序列，因此，我们需要解决的是，将输入为图片转变成输入为序列。
在这里插入图片描述
如上图所示，将图片切分成若干块进行顺序编码，以序列的形式输入，每个小块flatten成1*n的形状，将输入转换为序列的形式。

2. 解决任务

分类/backbone

三、Swin Transformer

1. 解决任务

分类/backbone

2. 动机

图像分辨率高，像素点多，Transformer基于全局自注意力的计算导致计算量较大
在这里插入图片描述
整个模型采取层次化的设计，一共包含4个Stage，每个stage都会缩小输入特征图的分辨率，像CNN一样逐层扩大感受野。如下图所示👇：
在这里插入图片描述
核心：多次重叠局部交互可以实现全局信息处理

3. 方法

多次重叠局部交互可以实现全局信息处理，普通的transformer将每个向量与其他全部向量做相似度运算，当图片过大时计算量很大，这显然是不合适的。因此SWIN Transformer对此进行了改进，每次不是和全部的向量进行运算，而是和相邻m个进行运算，这样可以大大减少计算量而且逐渐可以获取到全局的感受野。

四、CSWIN Transformer

1. 解决任务

分类/backbone

2. 动机

计算量大，model capbility差

3. 解决方案

改变模型注意力区域的形状（有点像Axial-Attention）
在这里插入图片描述
在这里插入图片描述

五、DETR

1. 解决任务

目标检测

2. 动机

传统的CNN目标检测使用anchor的方式，抛出预测结果。主要依赖于NMS（非极大值抑制）后处理得到最终检测结果。NMS非常耗时

3. 解决方案

动态输出集与真值集进行 二分图最小权匹配
在这里插入图片描述

六、Deformable DETR

1. 解决任务

目标检测

2. 动机

DETR训练慢，因为Self-Attention无法有效捕获空间信息

3. 方法

使用逐层优化过程，利用可变形卷积代替子注意力机制
在这里插入图片描述

七、UP-DETR

1. 解决任务

目标检测

2. 动机

DETR训练速度较慢（Decoder的问题）

3. 解决方案

自监督、预训练
在这里插入图片描述

八、MaskFormer

1. 解决任务

语义分割

2. 动机

transformer卷积输出可作为动态核、加解码head用于分割

3. 解决方案

Decoder输出特征embedding后与特征图进行卷积
在这里插入图片描述

天使Di María
关注
  • 7
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
一文理解Transformer的工作原理
01-27
自然语言处理中的Transformer模型真正改变了我们处理文本数据的方式。Transformer是最近自然语言处理发展的幕后推手，包括Google的BERT。了解Transformer的工作原理、它如何与语言建模、序列到序列建模相关，以及它如何支持Google的BERT模型。现在，我喜欢做一名数据科学家，从事自然语言处理（NaturalLanguageProcessing,NLP)方面的工作。这些突破和发展正以前所未有的速度发生。从超高效的ULMFiT框架到Google的BERT，自然语言处理真的处于一个黄金时代。这场革命的核心是Transform
ChatGPT系列学习（1）transformer基本原理讲解
u014723479的博客
05-13 4789
Encoder 和 Decoder 结构中公共的 layer 之一是 Multi-Head Attention多头注意力机制，其是由多个**并行组成**^的。Encoder block 只包含一个，而 Decoder block 包含两个Multi-Head Attention (其中有一个用到 Masked)。Multi-Head 指的是 Multi-Head Attention 中的多个头，也就是说，Multi-Head Attention 将注意力机制拆分成多个头，每个头都可以关注输入序列的。
TR1 - Transformer起源与发展
最新发布
Loser
03-21 863
自监督学习（Self-supervised Learning）是一种机器学习方法，其特点在于从数据本身自动生成标签或监督信号，无需人工标注。简单来说就是让机器利用数据本身的结构或特征来进行学习，从而不依赖于外部标签或监督信号。
Vision Transformer综述 总篇
想太多的学习日志
06-15 2275
Transformer首先应用于自然语言处理领域，是一种以自我注意机制为主的深度神经网络。由于其强大的表示能力，研究人员正在寻找将变压器应用于计算机视觉任务的方法。在各种视觉基准测试中，基于变压器的模型表现类似或优于其他类型的网络，如卷积和循环神经网络。由于其高性能和较少的视觉特异性感应偏倚需求，变压器正受到计算机视觉界越来越多的关注。在本文中，我们对这些视觉转换器模型进行了综述，并根据不同的任务对其进行了分类，分析了它们的优缺点。我们探讨的主要类别包括骨干网络、高/中级视觉、低级视觉和视频处理。我们还包括
sora笔记（三）：diffusion transformer模型的发展历程
submarineas的博客
03-16 1385
::info💡 在一文中介绍了目前未开源的sora模型可能涉及到的技术点，包括介绍了Vision Transformer，作为transformer正式用于图像的一种范式，为本文中将提到的内容打下基础，同时一文对diffusion model的数学原理推导，也为后来模型的演化提供更加完整的认识。而本文将要介绍的是后来的ViViT与DiT两种模型架构，并对其进行了更进一步的源码分析。
Transformer综述(A Survey on Vision Transformer) 阅读学习笔记（二）-- transformer在计算机视觉领域的发展和应用
sazass的博客
03-10 6712
论文综述： 文章主旨：在本文中，我们回顾了这些视觉Transformer模型，将它们分为不同的任务，并分析了它们的优缺点。我们探讨的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理。我们还包括有效的Transformer方法，用于将Transformer推进基于设备的实际应用。此外，我们还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。在本文的最后，我们讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 A Survey on Vision
Transformer原理
zzZ_CMing的博客
10-30 347
transformer架构的原理
人工智能各领域跨界能手——Transformer
futuregislab的博客
03-17 3966
导读：Transformer源自于AI自然语言处理任务；在计算机视觉领域，近年来Transformer逐渐替代CNN成为一个热门的研究方向。此外，Transformer在文本、语音、视频等多模态领域也在崭露头角。本文对Transformer从诞生到逐渐壮大为AI各领域主流模型的发展过程以及目前研究进展进行梳理，见证Transformer的过人之处。　　
2. Transformer模型分类及发展
hjyai94的博客
11-21 486
总结Transformer模型起源和发展，以及后续发展的模型分类。
Transformer的前世今生
thy_2014的专栏
03-14 4147
引言 Transformer在今天已经非常火了, 不管是NLP, 还是CV, 效果表现均很好. 那么这是Transformer到底是什么呢? 要把Transformer的来龙去脉讲清楚, 首先得从attention开始, attention刚出来时, 直接把Google翻译送上了人生巅峰. 在Transformer的出现之前的NLP相比CV来说并不那么活跃, 同时难度相对也比较大, 用得最多的也就是LSTM那一套, 不可能像CV那样模型可迁移性很强. 而Transformer的出现后, 简直把N
Transformers 发展一览
冷冻工厂
04-28 1221
总之，Transformer 的分类学和注意力机制的各种进步显着扩展了基于 Transformer 的模型的能力和效率。稀疏注意力技术，例如基于位置和基于内容的稀疏注意力，以及线性化注意力，已经解决了传统密集注意力的计算局限性。最后，对多头机制的修改，例如头部行为建模、限制跨度、精细聚合和其他变体，显示出进一步提高基于 Transformer 的模型性能的潜力。稀疏注意力：该技术试图通过考虑输入的一小部分而不是整个输入序列来降低注意力机制的计算时间和内存要求，从而生成与完整矩阵相反的稀疏矩阵。
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其进行了...
Swin-Unet-Transformer网络-用于语义分割-二分类
03-21
1.增加了数据加载部分，二分类loss 2.必要的中文注释 3.附带了自己的数据集 4.有问题随时联系
transformer语义分割
04-01
上诉结果concat，再经过一个transformer，然后就是一层层地decoder。 主要调试main.py、transformer.py、builders.py这三个文件就好，其余的只是依赖包 main.py: 运行文件。路径、数据集划分、以及测试和评价指标全...
transformer中encoder-decoder实现步骤拆分
02-21
transformer中encoder-decoder实现步骤拆分
TransUnet-transformer 用于语义分割-二分类
03-25
transformer 用于语义分割 内有使用说明 有问题私信 主要是将TransUnet的网络模型拿出来，自己写了加载数据集的方法，使用方便
自然语言处理的革命：Transformer 架构的发展
禅与计算机程序设计艺术
12-31 876
1.背景介绍 自然语言处理(NLP)是人工智能领域的一个重要分支，其主要目标是让计算机理解、生成和处理人类语言。自从2012年的深度学习革命以来，NLP 领域一直在不断发展，直到2017年，Transformer 架构出现，它彻底改变了 NLP 的发展方向。 Transformer 架构的出现，使得 NLP 任务的性能得到了显著提升，并为许多 NLP 任务提供了新的解决方案。这篇文章将深入探讨...
各种Transformer模型总结与比较
zephyr_wang的博客
02-08 7835
1 Transformer发展历程 Transformer类的模型目前在自然语言处理任务中大放异彩，部分任务已超越人类水平。本文将Transformer分为三大类别，分别是seq2seq、Autoregressive（AR）和Autoencoding（AE），以及介绍了BERT、DeBERTa、GPT、BART等等各种transformer模型。 1.1 序列到序列模型（seq2seq） seq2seq属于encoder-decoder结构的一种，基本思想就是利用两个RNN，一个RNN作为encoder，另
Transformer的Decoder解码器
03-10
Transformer的Decoder解码器是Transformer模型中的一个重要组件，用于生成目标序列。它由多个Transformer Block组成，每个Block包含自注意力机制和前馈神经网络。Decoder的输入是编码器的输出和目标序列的嵌入表示。 下面是一个示例代码，演示了如何使用Transformer的Decoder解码器生成目标序列[^1]： ```python import torch import torch.nn as nn class TransformerDecoder(nn.Module): def __init__(self, num_layers, embed_size, num_heads, feed_forward_dim, dropout_rate): super(TransformerDecoder, self).__init__() self.num_layers = num_layers self.decoder_layers = nn.ModuleList([ TransformerDecoderLayer(embed_size, num_heads, feed_forward_dim, dropout_rate) for _ in range(num_layers) ]) def forward(self, enc_output, target_seq): output = target_seq for layer in self.decoder_layers: output = layer(output, enc_output) return output class TransformerDecoderLayer(nn.Module): def __init__(self, embed_size, num_heads, feed_forward_dim, dropout_rate): super(TransformerDecoderLayer, self).__init__() self.self_attention = nn.MultiheadAttention(embed_size, num_heads, dropout=dropout_rate) self.encoder_attention = nn.MultiheadAttention(embed_size, num_heads, dropout=dropout_rate) self.feed_forward = nn.Sequential( nn.Linear(embed_size, feed_forward_dim), nn.ReLU(), nn.Linear(feed_forward_dim, embed_size) ) self.layer_norm1 = nn.LayerNorm(embed_size) self.layer_norm2 = nn.LayerNorm(embed_size) self.layer_norm3 = nn.LayerNorm(embed_size) self.dropout = nn.Dropout(dropout_rate) def forward(self, target_seq, enc_output): # Self-attention self_attention_output, _ = self.self_attention(target_seq, target_seq, target_seq) self_attention_output = self.dropout(self_attention_output) self_attention_output = self.layer_norm1(target_seq + self_attention_output) # Encoder attention encoder_attention_output, _ = self.encoder_attention(self_attention_output, enc_output, enc_output) encoder_attention_output = self.dropout(encoder_attention_output) encoder_attention_output = self.layer_norm2(self_attention_output + encoder_attention_output) # Feed forward feed_forward_output = self.feed_forward(encoder_attention_output) feed_forward_output = self.dropout(feed_forward_output) output = self.layer_norm3(encoder_attention_output + feed_forward_output) return output # 使用示例 num_layers = 6 embed_size = 512 num_heads = 8 feed_forward_dim = 2048 dropout_rate = 0.1 decoder = TransformerDecoder(num_layers, embed_size, num_heads, feed_forward_dim, dropout_rate) enc_output = torch.randn(batch_size, max_token_count, embed_size) target_seq = torch.randn(batch_size, target_seq_length, embed_size) output = decoder(enc_output, target_seq) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天使Di María

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值