transformer详解

最新推荐文章于 2024-09-27 14:30:36 发布
最新推荐文章于 2024-09-27 14:30:36 发布
阅读量333 收藏 1
点赞数 2
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZHANG8023ZHEN/article/details/142577503
版权

在这里插入图片描述

https://www.cnblogs.com/gogoSandy/p/14386998.html

新感悟：

  1. transformer的mask主要有两种，一种使padding_mask, 一种使future_mask. padding_mask是将实际不存在的内容mask掉，future_mask是让时序推理的时候让在预测T+1的token时只会用到T及T以前的信息

  2. positional embedding, 对输入的位置顺序有要求的时候需要用到，比如文本理解，如果对于位置顺序要求不高的任务，positional embedding可以不用。另外positonal embedding需要满足以下要求：
    举个🌰
    句1: Dog sit on chair
    句2: Cat is sleeping on floor
    要想全面的表达位置信息，transformer需要满足以下4个条件

  3. 相对距离: on和chair，on和floor, sit 和on, sleeping和on的相对距离都是1，它们之间的相对距离相同，且和绝对位置以及句子长度无关

  4. 绝对位置：dog和cat都是句子的第一个词，它们的绝对位置相同, encoding需要一致

  5. 句子长度：encoding需要能够generalize到训练样本中unseen的句子长度
    在这里插入图片描述
    在这里插入图片描述

为什么这么设计呢？

positional encoding是直接加在word embedding上作为输出，之后会在计算attention的过程中在两两向量内积时被使用，可能会表达类似相对距离越近attention权重越高之类的信息。因此这里表达位置和距离是依赖encoding做向量乘法，而使用sin/cos的好处在于位移和绝对位置无关

https://timodenk.com/blog/linear-relationships-in-the-transformers-positional-encoding/
在这里插入图片描述

ZHANG8023ZHEN
关注
史上最小白之Transformer详解
Tink1995的博客
03-27 33万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
Transformer详解
u012374012的专栏
06-28 986
批量标准化是对一个批次中的所有样本进行标准化处理，它是对一个批次中的所有样本的每一个特征进行归一化。而层标准化是对每个样本的所有特征进行标准化处理，独立于同一批次中的其他样本。层标准化的优点是不受批量大小的影响，可以在小批量甚至单个样本上工作。更适合序列数据。
Vision Transformer详解
霹雳吧啦Wz
06-26 26万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
Transformer 模型详解
热门推荐
步入人工智能
05-29 27万+
本内容主要介绍 Transformer 模型的具体实现。
VIT transformer详解
qq_54372122的博客
07-11 1771
虽然 Transformer 架构已成为 NLP 任务的事实标准，但它在 CV 中的应用仍然有限。在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构。我们证明了这种对 CNN的依赖是不必要的，直接应用于图像块序列 (sequences of image patches) 的纯 Transformer 可以很好地执行 图像分类 任务。
Transformer详解（附代码）
欢迎来到道的世界
12-31 5万+
Transoformer详解，并附有pytorch源代码
Swin Transformer详解
m0_74982304的博客
04-11 5047
Vit出现后虽然让大家看到了Transformer在视觉领域的潜力，但并不确定Transformer可以做掉所有视觉任务。Swin Transformer可以作为一个通用的骨干网络。面对的挑战：1、多尺度。2、高像素。移动窗口提高效率，并通过Shifted操作变相达到全局建模能力。层次结构：灵活，可以提供各个尺度特征信息，容易使用到下游任务中。最后分层设计和移位窗口方法也被证明对所有mlp体系结构都是有益的。
transformer详解.docx
12-18
Transformer详解 Transformer是一种在自然语言处理（NLP）领域中广泛应用的神经网络架构，首次由Vaswani等人在2017年的论文《Attention is All You Need》中提出。这个模型彻底改变了序列到序列（seq2seq）学习的...
对比学习训练是如何进行的
qq_45809323的博客
09-25 534
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
用于MRI重建的具有全局感受野的傅里叶卷积块|文献速递--基于多模态-半监督深度学习的病理学诊断与病灶分割
weixin_38594676的博客
09-26 946
在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。这意味着，虽然傅里叶域中的卷积核 W 大小与输入相同，但它的空间对应物可以是一个大小为 K × K 的零填充卷积核，大小范围从 1 × 1 到输入大小 N × N 不等。顶部显示了8×加速的结果，底部显示了12×加速的结果。
基于深度学习的图像修复算法
weixin_42605076的博客
09-26 582
基于深度学习的图像修复算法旨在通过学习和生成模型来填补图像中的缺失或损坏部分。
卷积神经网络（CNN）图像处理与识别原理
m0_73697499的博客
09-23 1282
图像在计算机中是以一系列0至255之间的数值组成的矩阵形式存储的，这些数值代表了像素点的亮度或色彩强度。而在彩色图像中，每个像素点通常由红（Red）、绿（Green）、蓝（Blue）三个通道的值组成，形成一个三维张量。卷积核是一个小的矩阵或张量，它在图像上滑动并与图像的局部区域进行点积运算，从而提取出图像的特征。图像不变性是指，即使图像中的物体发生位置、大小或旋转的变化，CNN仍能正确识别出该物体。感受野定义了神经元能够“看到”的输入数据的范围，它决定了网络可以捕捉到的特征的尺度。
机器学习和深度学习的区别
最新发布
萧鼎的博客
09-27 768
机器学习是一种利用统计方法从数据中学习规律并做出预测或决策的技术。其核心理念是：通过输入大量数据，模型可以发现数据中的模式，进而对新数据做出准确的预测。深度学习是机器学习的一个子领域，重点在于使用多层神经网络自动提取特征并进行预测。与传统机器学习不同，深度学习不需要人为设计特征，而是通过多个隐藏层自动学习数据的高层次表示。机器学习和深度学习虽然都是人工智能的核心技术，但它们在数据需求、特征提取、模型结构和计算资源等方面有着显著的区别。选择合适的技术取决于具体的任务场景和数据规模。
深度学习：卷积神经网络CNN
纸上得来终觉浅
09-23 1444
卷积神经网络CNN
【深度学习】（8）--神经网络使用最优模型
m0_74896766的博客
09-26 1036
本篇介绍了： 如何使用保存好的最优模型 加载模型的两种方法：1.加载模型状态字典；2.加载整个模型实例 注意：两种方法都需要提前定义神经网络结构。
《深度学习》—— 神经网络中的调整学习率
weixin_73504499的博客
09-25 1698
调整学习率（Adjusting Learning Rate）是在机器学习，特别是在深度学习中，对优化算法中的一个关键超参数进行动态调整的过程。学习率决定了在每一次参数更新时，参数变化的幅度大小。它是控制模型学习速度的一个重要因素。
Transformer 详解
12-15
Transformer 是一种用于自然语言处理任务的深度学习模型，它是由 Google 在 2017 年提出的。相比于传统的循环神经网络和卷积神经网络，Transformer 采用了全新的 Encoder-Decoder 架构，使用了自注意力机制（Self-Attention Mechanism）来处理输入序列，从而在机器翻译、文本摘要、对话生成等任务上取得了很好的效果。 Transformer 本质上是一个 Encoder-Decoder 架构，其中 Encoder 和 Decoder 都是由多个相同的层堆叠而成。每个层都包含了两个子层，分别是 Multi-Head Attention 和 Feed Forward Neural Network。其中 Multi-Head Attention 是 Transformer 的核心，它使用了自注意力机制来计算输入序列中每个词与其他词之间的关系，从而更好地捕捉上下文信息。 Transformer 的训练过程分为两个阶段：第一阶段是无监督的预训练，使用大量的无标注数据来训练模型；第二阶段是有监督的微调，使用有标注的数据来微调模型，使其适应特定的任务。 下面是一个简单的 Transformer 模型的实现代码： ```python import torch import torch.nn as nn import torch.nn.functional as F class Transformer(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers, num_heads, dropout): super().__init__() self.embedding = nn.Embedding(input_dim, hidden_dim) self.encoder_layers = nn.ModuleList([EncoderLayer(hidden_dim, num_heads, dropout) for _ in range(num_layers)]) self.decoder_layers = nn.ModuleList([DecoderLayer(hidden_dim, num_heads, dropout) for _ in range(num_layers)]) self.fc_out = nn.Linear(hidden_dim, output_dim) self.dropout = nn.Dropout(dropout) self.scale = torch.sqrt(torch.FloatTensor([hidden_dim])).to(device) def forward(self, src, trg, src_mask, trg_mask): src_len, batch_size = src.shape trg_len, batch_size = trg.shape src_pos = torch.arange(0, src_len).unsqueeze(1).repeat(1, batch_size).to(device) trg_pos = torch.arange(0, trg_len).unsqueeze(1).repeat(1, batch_size).to(device) src = self.dropout((self.embedding(src) * self.scale) + src_pos) trg = self.dropout((self.embedding(trg) * self.scale) + trg_pos) for layer in self.encoder_layers: src = layer(src, src_mask) for layer in self.decoder_layers: trg = layer(trg, src, trg_mask, src_mask) output = self.fc_out(trg) return output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值