关于Transformer的一些阅读见解（非简单介绍一下网络结构）

已于 2024-04-09 19:05:45 修改
阅读量675 收藏 18
点赞数 16
文章标签： transformer 深度学习 人工智能 nlp 计算机视觉
于 2024-04-09 19:00:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shineber/article/details/137562997
版权

关于Transformer的一些阅读见解（非简单介绍一下网络结构）

Transformer相比传统经网络的创新之处

既和CNN如Resnet、VGG等一些神经网络不通 and 和RNN循环神经网络也不同

  • 并未使用循环卷积层，用的是注意力机制。
  • Encoder和Decoder有n个，因此叫多头注意力。

位置编码

Q：为什么需要位置编码？意义何在？（赢在了运算效率上，每个token是并行的，做到了硬件的适配）

传统RNN是顺序前向进行的，因此有序列前后的位置关系，但是transformer是并行计算每个词，会失去位置信息，因此需要进行位置编码。

多头注意力机制（下面的讲解基于向量，实际使用为了方便使用矩阵）

Mutihead Attention其实可以理解成一种输入降维的方式（为什么下文会降到）

  • 公式在此就简单列出一下，论文中都可以查到
    在这里插入图片描述

  • Attention公式的含义很重要：就是考察更加关注的信息。

残差连接（源于ResNet的residual block）

有效缓解了梯度消失的问题（为什么后面会推导）

在这里插入图片描述

Batch Normalization的详解，和Layer Normalization有什么区别？

BN是对不同样本，同一特征做regulation，而LN是相同样本，不同特征做regulation

在这里插入图片描述

BN的优点

  • 可以解决内部协变量偏移的问题
  • 缓解了梯度饱和的问题（若用sigmoid），加快了网络的收敛

BN的缺点

  • batch-size很小的时候，效果不好
  • BN在RNN中的效果差（为什么？也会详说）
    在这里插入图片描述

Decoder的详解（基于训练过程的解析，有几个问题值得大家思考）

在这里插入图片描述

Q1:第一个Encoder需要Masked-Multihead-Attention，为什么需要mask？

因为上文说过，Transformer的炸裂之处是运算效率，为了提高运算效率，我们的token是并行输入的，而不是RNN那种一步接一步。因此如果不进行mask，会导致所有输入的token对Decoder生成的某一输出提供信息，这是我们不愿意看到的。

Q2:Encoder与Decoder交互到底是怎么实现的？

  • Encoder生成的 K e n c o d e r K_{encoder} Kencoder​、 V e n c o d e r V_{encoder} Vencoder​与Decoder进行交互
  • Decoder的 Q Q Q来自于本身， K K K、 V V V来自于Encoder。

具体的代码请参考如下github（基于pytorch实现）

Transformer的pytorch实现

创客阿博
关注
  • 16
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer神经网络架构的整体指南
安静的软件工程师
01-07 1310
Transformer神经网络架构的整体指南
Transformer Memory as a Differentiable Search Index论文阅读
zag666的博客
12-14 1337
可区分搜索索引（DSI），这是一种以统一方式学习端到端搜索系统的新范式，为下一代搜索铺平了道路。我们定义了新颖的索引和检索任务，将术语和文档之间的关系完全编码在Transformer模型的参数中。该论文提出了一些表示文件和文档的不同方式，并探索了不同的模型架构和模型训练策略。在Natural Questions数据集上进行的实验表明，无论是在标准的微调设置中，还是在零样本学习设置中，DSI的表现都优于常见的基准，如BM25和双编码器。
论文阅读：Multimodal Graph Transformer for Multimodal Question Answering
weixin_44845357的博客
05-14 1715
在这项工作中，我们的目标是从这两个世界中受益，并提出了一种新的多模态图转换器，用于需要跨多模态执行推理的问答任务。我们引入了一种涉及图形的即插即用类注意机制，将从文本和视觉数据中获得的多模态图形信息作为有效的先验信息整合到vanilla自注意力中。 具体来说，我们构建文本图、密集区域图和语义图来生成邻接矩阵，然后将它们与输入的视觉和语言特征组合在一起进行下游推理。
【论文阅读】A Survey on Vision Transformer
qq_56483157的博客
05-30 441
本文通过将这些视觉变压器模型通过执行任务的不同而进行分类，并分析了它们的优缺点，其探索的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理，也包括高效的Transformer方法，以将Transformer运用到基于实际设备的应用程序。此外，本文简要介绍了计算机视觉中的self-attention机制，因为它是变压器中的基本组件。
长短期记忆神经网络，transformer模型内部结构详细介绍
05-09
transformer模型详细介绍
transformer的简单案例介绍
06-11
1. **自注意力机制（Self-Attention）**：Transformer 摒弃了传统的循环神经网络（RNN）结构，采用自注意力机制来处理序列数据。这种机制允许模型在编码和解码过程中同时关注序列中的所有元素，从而更好地捕捉长距离...
即将取代RNN结构的Transformer
01-27
本文来自于segmentfault，文章介绍了Transformer的整体结构、attention计算过程等相关内容。上图是经典的双向RNN模型，我们知道该模型是通过递归的方式运行，虽然适合对序列数据建模，但是缺点也很明显“它无法并行...
为什么有的网络结构中只有attention层而没有transformer层
03-26
注意力机制（Attention）和Transformer是两个不同的概念，其中Transformer是一种基于注意力机制的神经网络结构，而不是Attention的特定实现。因此，一个神经网络结构中可能只包含Attention层，而没有Transformer层。
人工智能——机器学习——神经网络（深度学习）
xiao77224li的博客
06-12 2398
人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出现在 1956 年召开的达特茅斯会议上。其中深度学习可以理解为神经网络。刚开始只有神经网络的概念，随着神经网络的层数增加，就逐渐将神经网络叫做深度学习。神经网络的发展历程大致分为浅层神经网络阶段和深度学习阶段。
深度学习长文｜使用 JAX 进行 AI 模型训练
冷冻工厂
06-13 370
实际上，考虑到 PyTorch 背后庞大的开发者社区，以及 PyTorch 所原生支持而 JAX/FLAX 尚未涵盖的众多特性（例如自动混合精度、先进的注意力机制层，至少在本文撰写时），有人可能会强烈主张没有必要投入时间去掌握 JAX。在本文中，我们将使用 Flax，据本文撰写时的观察，它似乎是最受欢迎的选择。值得注意的是，每个机器学习开发框架都可能拥有其独到的特性（例如，截至本文撰写时，JAX 的 SPMD 自动分片和 PyTorch 的 SDPA 注意力机制），这些特性可能在性能比较中起到关键作用。
深度学习记录
最新发布
weixin_73617818的博客
06-16 177
全部基于视频学习记录或者GitHub尝试记录，清清电脑存储😄
【深度学习】解析Vision Transformer (ViT): 从基础到实现与训练
q742971636的博客
06-16 500
定义ViT模型并将其移动到GPU上。# VisionTransformer定义（使用上面的定义）# 损失函数和优化器# 如果有多个GPU，使用DataParallel这段代码展示了如何使用PyTorch在GPU上训练Vision Transformer模型。包括数据加载、模型定义、训练和评估步骤。请根据你的实际需求调整批量大小、学习率和训练轮数等参数。
【深度学习】IP-Adapter 和 InstantID 的核心机制比较
q742971636的博客
06-12 749
IP-Adapter通过解耦的交叉注意力机制实现文本与图像提示的结合，使得图像提示和文本提示可以协同工作。InstantID通过提取面部 ID 嵌入和设计 IdentityNet，结合面部图像、地标图像和文本提示，实现高保真度的面部身份保留生成。
【网络安全】【深度学习】【入侵检测】SDN模拟网络入侵攻击并检测，实时检测，深度学习【一】
q742971636的博客
06-09 1462
Mininet: 主要用于创建和模拟虚拟网络拓扑，适合于网络实验和研究。Ryu: 主要用于开发和运行 SDN 控制器，用于管理和控制网络设备。这两个工具通常可以结合使用：使用 Mininet 模拟网络环境，使用 Ryu 作为 SDN 控制器来管理模拟网络中的设备和流量。
1.动手学习深度学习课程安排及深度学习数学基础
kaszxc的博客
06-13 54
​ 首先，我们导入torch，注意，虽然它被称为pytorch，但我们应该导入torch而不是pytorch。矩阵相当于一个扭曲空间，把下图中的蓝线和绿线，扭曲到不同方向和长度。
【深度学习】深入解码：提升NLP生成文本的策略与参数详解
q742971636的博客
06-13 887
解码策略和解码参数在自然语言处理（NLP）模型的生成过程中起着不同的作用，但它们共同决定了生成文本的质量和特性。
【深度学习】TCN，An Empirical Evaluation of Generic Convolutional【二】
q742971636的博客
06-16 853
膨胀卷积（Dilated Convolution），也称为空洞卷积（Atrous Convolution），是在标准卷积的基础上通过引入膨胀因子（dilation factor）来扩展感受野，而不增加参数数量或计算复杂度。膨胀卷积通过在滤波器的每两个元素之间插入空洞（即，零值）来实现这一点。
深度学习之激活函数
qq_41915623的博客
06-12 1080
激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。在神经元中，输入的input经过一系列加权求和后作用于另一个函数，这个函数就是这里的激活函数。
Transformer网络结构
03-27
Transformer网络结构是一种用于自然语言处理和其他序列到序列任务的深度学习模型。它由Google在2017年提出，并在机器翻译任务中取得了显著的突破。 Transformer网络结构的核心思想是自注意力机制（self-attention），它能够在不引入循环或卷积结构的情况下，对输入序列中的不同位置进行建模。Transformer网络由编码器和解码器两部分组成，每个部分都由多个相同的层堆叠而成。 编码器由多个相同的编码器层组成，每个编码器层包含两个子层：多头自注意力机制和前馈神经网络。多头自注意力机制能够对输入序列中的不同位置进行关注，从而捕捉到全局的上下文信息。前馈神经网络则通过全连接层对每个位置的特征进行非线性变换。 解码器也由多个相同的解码器层组成，每个解码器层包含三个子层：多头自注意力机制、多头编码器-解码器注意力机制和前馈神经网络。多头编码器-解码器注意力机制能够将解码器当前位置与编码器的输出进行关联，从而引入源语言的信息。 Transformer网络结构的优点是能够并行计算，加速训练和推理过程。此外，它还能够捕捉长距离依赖关系，提高模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值