Transfomer编码器中自注意力机制、前馈网络层、叠加和归一组件等讲解（图文解释）

最新推荐文章于 2024-08-21 17:50:19 发布
最新推荐文章于 2024-08-21 17:50:19 发布
阅读量537 收藏
点赞数
分类专栏： 数据治理 大语言模型 管理体系 文章标签： 深度学习 人工智能 机器学习
沧海之巅
本文链接：https://blog.csdn.net/linjie_830914/article/details/131236312
版权
Transformer的编码器由多个相同结构的编码器层堆叠而成，每个编码器包含自注意力机制和前馈网络两部分。自注意力机制通过计算查询矩阵、键矩阵和值矩阵，确定词与词之间的关系，多头注意力则通过多个注意力矩阵提高准确性。位置编码用于保留词序信息，前馈网络由两个ReLU激活的全连接层组成，整个编码器通过残差连接和层归一化加速训练。
摘要由CSDN通过智能技术生成

Transformer中的编码器不止一个，而是由一组N个编码器串联而成，一个编码的输出作为下一个编码器的输入，如下图所示，每一个编码器都从下方接收数据，再输出给上方，以此类推，原句中的特征会由最后一个编码器输出，编码器模块的主要功能就是提取原句中的特征

image.png

我们又可以将编码器中的结构进行细分

image.png

由上图可知，每一个编码器的构造都是相同的，并且包含两个部分

1：多头注意力层

2：前馈网络层

下面我们对其进行讲解

一、自注意力机制
让我们通过一个例子来快速理解自注意力机制

a dog ate the food because it was hungry

想必大家都能看懂这句英文的意思，句中的it可以指代dog也可以指代food，我们自然是很好理解，但是对于计算机而言该如何决定呢？自注意力机制有助于解决这个问题

以上句为例，我们的模型首先需要计算出单词A的特征值，其次计算dog的特征值，以此类推，当计算每个词的特征值时，模型都需要遍历每个词与句子中其他词的关系，模型可以通过词与词之间的关系来更好的理解当前词的意思

比如当计算it的特征值时，模型会将it与句子中的其他词一一关联，以便更好的理解它的意思

如下图所示&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沧海之巅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Transformer编码器结构原理分析
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
04-22 2799
Transformer编码器部分 由N个编码器组成，每一个编码器有两个子层连接，一个是多头自注意力，规范化层及残差单元，另一个是前馈层，规范化层级残差单元 结构图如下 编码器中注意力下计算规则 注意力机制结构图： 注意力机制代码实现 def attion(query,key,value,mask=None,dropout=None): d_value=query.size(...
第一章 SegFormer（语义分割篇）——SegFormer: 简单高效的基于Transformer的语义分割设计
ADICDFHL的博客
07-13 1万+
我们提出了SegFormer，这是一个简单、高效且强大的语义分割框架，它将Transformer与轻量级多层感知机（MLP）解码器结合在一起。SegFormer具有两个吸引人的特点：1）SegFormer包含一个新颖的层次结构的Transformer编码器，它输出多尺度特征。它不需要位置编码，从而避免了位置编码的插值问题，当测试分辨率与训练不同时，导致性能下降。2）SegFormer避免了复杂的解码器。提出的MLP解码器从不同层级聚合信息，从而结合了局部注意力和全局注意力，以生成强大的表示。
Transformer：注意力机制（attention）和自注意力机制（self-attention）的学习总结
热门推荐
目前涉及领域：目标检测，语义分割以及数字图像处理
09-04 5万+
本文主要分为两个部分： 第一部分重点介绍了注意力机制的原理、公式演变、评分函数以及多头注意力。 第二部分重点介绍了自注意力机制的原理、优缺点以及和注意力机制的区别，并最后给出了单头和多头自注意力机制的图片示例。
【AI 大模型】GPT 大模型训练架构 ( Transformer 架构 | 编码器和解码器 | 输入序列的位置编码 | 自注意力机制编码流程 | Transformer 训练代码示例 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
06-25 1391
一、GPT 大模型训练架构 - Transformer 架构 1、Transformer 架构 2、Transformer 架构的编码器和解码器 3、输入序列的位置编码 4、自注意力机制编码流程 5、OpenAI 开源的训练 GPT 大模型的 Transformer 代码 6、Transformer 代码示例
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
IT菜鸟
09-13 2005
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
Transformer--编码器和解码器（包含掩码张量，注意力机制，多头注意力机制）
njhniubi的博客
07-28 1283
编码器部分: 由N个编码器层堆叠而成，每个编码器层由两个子层连接结构组成，第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接，第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接💡在讲述编码器的结构之前，我们先引入三个概念--掩码张量，注意力机制，多头注意力机制。
transformer--编码器1(掩码张量、注意力机制、多头注意力机制)
进击的菜鸟
02-28 2327
掩代表遮掩，码就是我们张量中的数值，它的尺寸不定，里面一般只有1和0的元素，代表位置被遮掩或者不被遮掩，至于是0位置被遮掩还是1位置被遮掩可以自定义，因此它的作用就是让另外一个张量中的一些数值被遮掩，也可以说被替换,它的表现形式是一个张量.
Transformer神经网络学习笔记——基本介绍和自注意力机制
qq_50199113的博客
07-05 366
有三种可能，a.每个向量对应一个标签（标量或类别），可应用于在文字处理（如词性标注，给每个词标注其类别），语音处理（每段声音的音标划分），社交网络（每个用户的用户画像的构建）等方面；将每个词汇通过如One-hot Encoding（每个词汇都是一个特定编码，该方法缺点是向量无法表示词汇间的关系），Word Embedding（意义相近的词汇其向量相近）等方式转换成一个向量，这样文字处理问题就变为了大小不定的向量集处理问题。self-attention是可以叠加的，其可以与全连接层交替使用，使结果更加准确。
神经网络到底在关注哪里？注意力机制与Transformer
08-16 4925
注意力机制与Transformer 1 注意力机制介绍 PART1 浅谈注意力 注意力(attention)是人类学习中必不可少的要素，比如我们去阅读一个文章，或者试着去理解一本书中作者想表达的意思，我们通常在阅读过程中会把注意力放在比较重要的环节上，而不是去把每个细节都会一一记住。人的记忆是有限的，抓重点的学习习惯往往会得到事半功倍的效果。 那既然注意力这么重要，我们有没有办法把它用在AI应用中呢? 这就是注意力机制(attention mechanism)! 在过去几年取得了飞速的发展，而且已
信号处理-基于transfomer自注意力的多通道脑电信号的情绪分类的简单应用； 完整数据和pytorch代码实现；
03-26
信号处理--基于transfomer自注意力的多通道脑电信号的情绪分类的简单应用； 完整数据和pytorch代码实现； 使用jupyter notebook进行项目开发，有一定的注解，新手小白可快速入门和掌握代码的基本逻辑结构和运行顺序...
融合Transfomer和多尺度并行注意的结直肠息肉分割算法.pdf
05-18
Transformer模型是一种基于自注意力机制的深度学习模型，由Vaswani等人在2017年提出。它通过自注意力机制来捕获输入序列之间的依赖关系，具有parallelization和Flexibility的优势。在FTMPA-Net算法中，Transformer...
带转移学习的抽象总结：使用Bert作为编码器和变压器解码器的抽象总结
02-03
使用bert作为编码器和变压器解码器的抽象总结 我使用了一个名为Texar的文本生成库，它是一个漂亮的库，具有许多抽象，我想说这是scikit学习的文本生成问题。 该体系结构背后的主要思想是使用来自预训练的BERT的转移...
Matlab实现Transfomer多变量时间序列预测，风电功率预测（完整源码和数据）
06-18
1.Matlab实现Transfomer多变量时间序列预测，风电功率预测（完整源码和数据）。 2.excel数据，方便替换，运行环境matlab2023b及以上。 3.程序语言为matlab。 4.代码特点：参数化编程、参数可方便更改、代码编程思路...
基于LSTM与Transfomer的股票预测模型（Python完整源码）
10-09
基于LSTM与Transfomer的股票预测模型（Python完整源码） 股票行情是引导交易市场变化的一大重要因素，若能够掌握股票行情的走势，则对于个人和企业的投资都有巨大的帮助。然而，股票走势会受到多方因素的影响，因此...
【论文阅读33】Deep learning optoacoustic tomography with sparse data
最新发布
weixin_44502754的博客
08-21 832
【论文阅读33】Deep learning optoacoustic tomography with sparse data
读论文《Temporal Graph Networks for Deep Learning on Dynamic Graphs》
buganything的博客
08-21 973
作者提出了一种名为Temporal Graph Networks（TGNs）的新型深度学习框架，专门用于处理动态图数据。动态图是指图的结构或特征随时间变化的图，例如社交网络或生物互作网络。
深度学习多GPU训练原理
https://github.com/heatMa
08-18 366
详细参考《动手学深度学习》P233，8.4节多GPU计算。
基于深度学习的环境感知系统
weixin_42605076的博客
08-21 535
基于深度学习的环境感知系统是一类能够理解、感知和解读周围环境的智能系统。通过使用深度学习算法，这些系统可以分析多模态数据（如图像、音频、激光雷达数据等），实时感知环境的动态变化，为自动驾驶、机器人、智能家居等领域提供关键支持。
自注意力机制和transfomer的关系
09-02
自注意力机制和Transformer是密切相关的。Transformer是一种用于自然语言处理的深度学习模型，它基于自注意力机制来捕捉输入序列中的关联信息。Transformer模型可以在输入和输出之间进行并行计算，因此在训练和推理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沧海之巅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值