Transformer模型

于 2024-07-29 15:01:48 发布
阅读量251 收藏 3
点赞数 4
分类专栏： 深度学习 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46574748/article/details/140766700
版权

Transformer在做什么事情？

  1. 下图是一个机器翻译流程：输入中文经过Transformer得到对应翻译的英文
    在这里插入图片描述
  2. 细化流程图：Transformer模型可以拆解为Encoders + Decoders
    在这里插入图片描述
  3. 继续细化：注意所有Encoders是结构上完全相同（参数上不是：也就是说要训练所有的Encoders）的且数量可以自定义，Decoders也是完全相同（参数上不是：也就是说要训练所有的Decoders）的且数量可以自定义，Encoders和Decoders架构不相同。
    在这里插入图片描述
  4. Transformer原论文图
    在这里插入图片描述

Encoder细节

Encoder可以分为以下三个部分：
在这里插入图片描述

1. 输入部分

在这里插入图片描述

1.1 Embedding

Embedding 就是用一个数值向量“表示”一个对象（Object）的方法
在这里插入图片描述

1.2 位置嵌入

在这里插入图片描述

上图是RNN的架构，RNN具有天然的时序关系（有先后顺序）
Transformer则是一起处理，增强了速度但是忽略了单词之间的序列关系，所以需要位置编码来告诉模型，单词之间的排列顺序

位置编码公式
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 注意力机制

在这里插入图片描述
注意力机制计算公式
在这里插入图片描述
例子1：
在这里插入图片描述
例子2：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

残差和Laynorm

在这里插入图片描述

  • x1和x2是词向量
  • 经过位置编码后对应位相加得到新的x1和x2
  • 经过注意力层得到z1和z2
  • 把x和z对应位相加作为残差的一个结果
  • 经过layerNorm后输出

3.1 残差

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

PS：使用LayerNorm而不使用传统BatchNorm

BN

feature scaling为了让模型收敛的更快
在这里插入图片描述
BN：对整个Batch样本的同一纬度做处理
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

LN

在这里插入图片描述

3. 前馈神经网络

在这里插入图片描述

Decoder细节

1. 多头注意力机制

在这里插入图片描述
在这里插入图片描述

2. 交互层

在这里插入图片描述
在这里插入图片描述
encoder和每一个decoder做交互
在这里插入图片描述
encoder生成K、V矩阵
decoder生成Q矩阵
在这里插入图片描述

肉松拿铁
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Transformer 模型详解
步入人工智能
05-29 26万+
本内容主要介绍 Transformer 模型的具体实现。
Transformer模型详解
人无远虑，必有近忧
01-19 2万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
自然语言处理Transformer模型最详细讲解（图解版）
CSDN 精品推荐
10-16 2万+
近几年NLP较为流行的两大模型分别为Transformer和Bert，其中Transformer由论文《Attention is All You Need》提出。该模型由谷歌团队开发，Transformer是不同与传统RNN和CNN两大主流结构，它的内部是采用自注意力机制模块。
深度学习：transformer模型
热门推荐
皮皮blog
12-10 5万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
transformer模型详解
02-24
本文主要讲解了抛弃之前传统的encoder-decoder模型必须结合cnn或者...总结了两个模型的优缺点并在此基础上提出了基于自注意力机制的翻译模型transformer，transformer模型没有使用CNN和RNN的方法和模块，开创性的将注
LLM基础之Transformer模型简介.pdf
06-19
Transformer模型是深度学习领域中的一种重要架构，尤其在自然语言处理（NLP）任务中扮演着核心角色。这个模型由Google在2017年的论文《Attention is All You Need》中提出，它彻底改变了序列建模的方式，为后来的大...
Transformer模型应用领域
08-24
Transformer 模型应用领域 Transformer 模型是一种基于注意力机制的神经网络架构，最初被提出用于自然语言处理任务中的序列到序列学习。随着时间的推移，Transformer 模型被应用于各种不同的领域，例如自然语言处理...
卷积神经网络
m0_53881899的博客
07-25 773
卷积神经网络
基于matlab的深度学习案例及基础知识专栏前言
最新发布
XU157303764的博客
07-29 3841
1.1、matlab:基于模板匹配的车牌识别_阐述基于模板匹配的车牌识别的字符识别-CSDN博客1.2、基于卷积神经网络(CNN)的车牌自动识别系统(matlab)_车牌识别 cnn-CSDN博客 1.3、基于深度学习的线性预测设计(matlab)-CSDN博客 1.4、基于深度学习的自适应线性预测(matlab)_自适应预测算法-CSDN博客 1.5、基于神经网络的训练堆叠自编码器进行图像分类(matlab)_堆叠自动编码器matlab权重初始化-CSDN博客 1.6、基于神经网络拟合函数的体脂估计(ma
【深度学习】决策树的引入与应用
qq_73301283的博客
07-25 950
在线性模型中，对于一个拥有i个属性的数据集我们通过构造yWXWwb∗Xx1​;x2​;...;xi​根据均方方差最小化或者对数几率最大化来进行线性回归或者对数几率回归来确定W，得到模型从而模拟得到输出y与数据集X的线性关系，其中对数几率回归由于输出的是概率因此被用作分类任务的一部分。而线性判别分析通过类间散度矩阵Sb​和类内散度矩阵Sw​拟合一个目标函数使得Sb​和Sw​的广义瑞利商最大，最后求得W。
多种类动物智能识别系统：基于深度学习的UI界面与YOLO模型实现
a871923942的博客
07-24 1140
多种类动物智能识别系统：基于深度学习的UI界面与YOLO模型实现
深度学习基础
写代码的小阿帆的博客
07-25 653
本章学习了深度学习的两大分支，神经网络和决策树，神经网络依靠其隐藏层对数据进行特征提取和变换处理，最后在输出层输出结果，根据对输出要求的不同可以使用不同的激活函数，作为普通开发者我们应该更关注的是神经网络的优化方向，增加学习数据，调整正则化参数，以及交叉验证方法和迁移学习；决策树对人来说更容易理解，使用类似二叉树的数据结构进行分类判断，为了减少异常数据对树的影响，我们使用多个决策树票选结果，为了减少特征对树的影响，我们又引入了随机森林，最后介绍了目前效果很好的决策树方案——XGBOOST。
05 循环神经网络
weixin_43490087的博客
07-25 1044
介绍了循环神经网络RNN的概念，以及简单循环神经网络SRN、长程依赖问题、RNN的架构及参数学习，还介绍了基于门控的循环神经网络和深层循环神经网络。
每天五分钟深度学习:向量化方式完成逻辑回归m个样本的前向传播
huanfeng_AI的博客
07-25 187
我们已经知道了向量化可以明显的加速程序的运行速度，本节课程将使用向量化来完成逻辑回归的前向传播，不使用一个for循环。
深度学习中的backbone，neck和head是什么？
weixin_51678401的博客
07-25 1087
Backbone：提取输入图像的特征（如 VGG、ResNet）。Neck：对特征进行进一步处理和融合（如 FPN、PANet）。Head：根据具体任务生成最终的预测结果（如分类头、检测头、分割头）。这三个部分紧密结合，组成了一个完整的深度学习模型，每个部分的设计和选择都会影响模型的性能和适用场景。
昇思25天学习打卡营第23天|LSTM+CRF序列标注
Xavier_F的博客
07-25 1001
序列标注是为输入序列中的每个Token分配标签的过程，广泛应用于信息抽取任务。这些任务包括分词、词性标注和命名实体识别（NER）。例如，在NER中，输入序列可能是“清华大学在北京”，输出序列为标签，其中“清华大学”与“北京”都是地名。
智能火灾预警系统：基于深度学习的火焰与烟雾检测平台
a871923942的博客
07-24 790
智能火灾预警系统：基于深度学习的火焰与烟雾检测平台
transformer 模型
09-13
Transformer 模型是一种基于自注意力机制的神经网络架构，广泛应用于自然语言处理任务中，如机器翻译、文本摘要、语言生成等。它在2017年被提出，通过引入自注意力机制来解决传统的循环神经网络（RNN）和卷积神经网络（CNN）模型中的长程依赖问题。Transformer 模型的核心思想是使用自注意力机制来对输入序列中的每个位置进行编码，并通过多层堆叠的方式来捕捉不同层次的语义信息。 Transformer 模型由编码器（Encoder）和解码器（Decoder）组成。编码器负责将输入序列转换为一个高维表示，而解码器则根据编码器的输出和先前预测的结果生成目标序列。编码器和解码器都由多层的注意力机制和前馈神经网络组成。在注意力机制中，模型会计算每个输入位置与其他位置之间的相关度，并根据相关度对输入位置进行加权求和，从而实现对上下文的全局感知。 Transformer 模型的优点包括并行计算能力强、能够处理长程依赖关系、具有更低的训练时间等。它在自然语言处理领域取得了很多重要的突破，如在机器翻译任务中的效果超过了传统的编码器-解码器模型，成为了当前最先进的模型之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值