Transformer相关的问题解读

已于 2023-01-02 12:18:01 修改
阅读量156 收藏
点赞数
文章标签： 深度学习 人工智能
于 2022-12-23 15:33:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50515468/article/details/128420028
版权

Transformer相关的问题探讨

  • attention
    • Transformer中的self-attention为什么Q和K使用不同的权重矩阵生成，为何没有使用同一个值进行自身的点乘？
      • 使用不同的权重矩阵生成的QKV可以保证word emdedding在不同空间进行投影，增强了表达能力，提高了泛化能力。
    • Multi-head Attention的意义
      • 多头注意力机制保证了transformer可以注意到不同子空间的信息，捕捉到更加丰富的特征信息；可以类比CNN中同时使用多个滤波器。
    • Self-attention计算时为什么在进行softmax之前需要除以dk的平方根
      • 对梯度进行scale，缓解梯度消失的问题，dk的平方根是根据经验选择的参数
  • 工程化
    • transfomer的并行化
      • 在encoder和decoder的训练阶段可以进行并行训练，通过teacher-forcing和sequence mask，但在transformer推理时无法进行并行，需要单步自回归推理，类似于RNN。
  • mask机制
    • transformer中的两个mask机制（transformer中包含padding mask和sequence mask，padding mask的目的是让padding不够长补0的部分不参与attention操作，sequence mask的目的是保证decider生成当前词语的概率分布时，只看到过去的信息，不用看到未来的信息，保证训练和测试的一致性。）
oceanWT
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
读书笔记：使用Transformers的遥感图像变化检测
qq_42075634的博客
03-08 7836
读书笔记：Remote Sensing Image Change Detection with Transformers 文章：https://ieeexplore.ieee.org/abstract/document/9491802 代码：https://github.com/justchenhao/BIT_CD 摘要：现代变化检测（CD）通过深度卷积强大的判别能力取得了显着的成功。然而，由于场景中物体的复杂性，高分辨率遥感 CD 仍然具有挑战性。具有相同语义概念的对象可能在不同时间和空间位置表现出不同的
Transformer Pytorch代码解读.pptx
07-20
- **残差连接（Residual Connection）**：用于将注意力层的输出与输入相加，以缓解梯度消失问题。 - **层归一化（LayerNorm）**：对每个位置的特征进行标准化，保持其均值为0，标准差为1，有助于模型训练的稳定性...
self-attention为什么要除以根号d_k
热门推荐
tyler的博客
09-29 1万+
self-attention的公式为 attention(Q,K,V)=Softmax(QKdk)Vattention(Q,K,V)=Softmax( \frac{QK}{\sqrt{d_{k}}})Vattention(Q,K,V)=Softmax(dk​​QK​)V 个人理解，除以dk\sqrt{d_{k}}dk​​的原因有两点： dkd_{k}dk​是词向量/隐藏层的维度 1、首先要除以一个数，防止输入softmax的值过大，导致偏导数趋近于0； 2、选择根号d_k是因为可以使得q*k的结果满足.
Transformer论文解读
周先森爱吃素的博客
06-28 2366
介绍如今被广泛使用的Transformer模型结构。
Swin Transformer文章解读
weixin_43238909的博客
03-09 965
从语言转换为视觉的挑战源于两个领域之间的差异，例如视觉实体的规模变化很大，图像中的像素与文本中的单词相比分辨率很高。偏移的窗口桥接了前一层的窗口，提供了它们之间的连接，显著增强了建模能力。在这种移位后，批窗口可由特征图中不相邻的子窗口组成，因此，使用屏蔽机制将自注意计算限制在每个子窗口内。所示，移位窗口桥接了前一层的窗口，提供二者之间的连接，显著增强建模能力。）时是线性的，全局自注意计算对于大型硬件来说通常还是负担不起的，而基于窗口的自注意是可扩展的。经过循环移位的方法，一个窗口可包含来自不同窗口的内容。
Transformer详细解读
l18817813618的博客
04-21 618
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。本文将对Vision Transformer的原理和代码进行非常全面的解读。
Swin Transformer论文解读
red_guy的博客
11-20 372
Swin Transformer是一种新型的神经网络架构，专为处理视觉任务设计。它的出现标志着从传统的卷积神经网络（CNN）到基于Transformer的模型在计算机视觉领域的重要转变。这种转变源于Transformer模型在自然语言处理（NLP）领域取得的巨大成功，尤其是在序列建模和长范围依赖捕获方面的优势。Swin transformer是一种新的视觉transformer，它产生层次特征表示，并且对输入图像大小具有线性计算复杂度。
Transformer超详细解读
lishanlu136的博客
07-17 1139
transformer算法解读
Swin Transformer V2论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
02-18 5246
Swin v2优化内存，支持训练大分辨率
anomaly transformer文章解读
lyj19941231的博客
04-06 4121
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 1.文章简介 文章发表在2022 ICLR上，被评为ICLR亮点文章，第一作者为清华大学一名硕士生，主要想解决的是时间序列数据上的异常检测问题，此方法适用于单维时间序列与多维时间序列。 2.创新点 文章的主要工作是通过正常点与异常点的关联差异性去解决异常检测问题，主要的创新点在于： 1）提出了一个区分关于正常点和异常点的判据，正常点与异常点在与时间
Vision Transformer 源码解读
02-03
在文本任务中大量使用了Transformer 架构，因为文本数据是一个序列非常好的契合Transformer 架构。 可是如何将一张图像展开成一个序列呢？ 将一个文本数据使用Transformer 进行特征提取需要把文本embbeding成一个...
transformer原理解读
09-06
Transformer模型是自然语言处理（NLP）领域的一个里程碑式创新，由Google的研究团队在2017年的论文《Attention is All You Need》中提出。它彻底改变了传统的序列模型，如RNN（循环神经网络）和LSTM（长短期记忆网络...
Transformer详细解读PPT
06-11
内容包括：神经网络发展；多头注意力机制、残差连接、位置编码和归一化的公式。
Transformer解读.pdf
04-09
这是我阅读了大神Peter Bloem全面解读Transformers的博客后，完成的阅读笔记，以及对大神Peter Bloem博客中一些具体细节的理解以及思考，感兴趣的朋友可以下载看看。
深度学习1-简介
shangjg3的博客
07-25 1215
通过确定这两张真实图像的潜变量，对它们的值进行插值，然后用这些中间变量生成新图像，我们能创造出既视觉上合理，又融合了两张原始图像特征的中间图像。因此，它面临一个选择，是利用已知的策略（沿地面滑行）还是探索其他可能的行动（可能实现更快的移动）。也许代理已经学会了如何获得适度的奖励，它应该继续遵循这个策略（利用现有知识），还是尝试不同的行动以寻找改进的机会（探索新的可能性）？第三，如果我们在两组潜变量之间的映射或潜变量到图像的映射中引入随机性，那么我们可以生成多个都与描述相匹配的图像（见图 1.12）。
深度学习的矩阵计算
最新发布
weixin_45706801的博客
07-25 455
在NumPy中，切片（slicing）是一种选择数组元素子集的方法。切片操作基于索引，但允许你指定一个范围的索引，而不是单个索引。这对于处理多维数组（NumPy中的ndarray对象）特别有用。
LSTM详解总结
GDHBFTGGG的博客
07-25 417
LSTM（Long Short-Term Memory）是一种用于处理和预测时间序列数据的递归神经网络（RNN）的改进版本。其设计初衷是为了解决普通RNN在长序列训练中出现的梯度消失和梯度爆炸问题。以下是对LSTM的详细解释，包括原理、公式、功能、优势等。
昇思25天学习打卡营第23天|LSTM+CRF序列标注
人工智能视觉分析算法学习实践和经验分享。
07-25 792
序列标注：指给定输入序列，给序列中每个Token（word）进行标注标签的过程。序列标注问题：是从文本中进行信息抽取，包括标注分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。“BIOE”标注方法：为命名实体识别的标注方法；是将一个实体(Entity)的开头标注为B，其他部分标注为I，非实体标注为O。表示文本中的每个字符分为四种类型：‌B（‌Begin）‌表示一个实体的开始。‌
transformer in transformer解读
08-31
Transformer in Transformer是一种用于处理图像的神经网络架构。在这个架构中，有两个层级的Transformer块，分别是Outer Transformer和Inner Transformer。Outer Transformer处理图像的Patch级别信息，即将图像切...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值