Transformer的前世今生 day10（Transformer编码器、解码器）

已于 2024-03-28 17:16:42 修改
阅读量383 收藏 1
点赞数 3
分类专栏： Transformer 文章标签： transformer 深度学习 人工智能
于 2024-03-27 22:37:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011453680/article/details/137091762
版权
本文介绍了深度学习中的ResNet残差网络如何通过快速通道解决模型复杂度过大问题，以及Transformer编码器和解码器的工作原理，包括Self-Attention、FeedForward子层和masking策略，以生成更优的词向量和翻译结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前情提要

ResNet（残差网络）

  • 由于我们加更多层，更复杂的模型并不总会改进精度，可能会让模型与真实值越来越远，如下：
    在这里插入图片描述
  • 我们想要实现，加上一个层把并不会让模型变复杂，即没有它也没关系，于是我们将残差块加入快速通道来实现，如下：
    • g(x)作为激活函数的输入，x作为模型的输入，f(x)为加上的层的输出，那么原本g(x) = f(x)
    • 加入残差块x后，g(x) = f(x) + x，表明即使f(x)没有得出很好的结果，那我也可以直接用x来作为激活函数的输入，绕过f(x)
      在这里插入图片描述
  • 残差块使很深的网络更加容易训练，因为我们总可以走快速通道让模型忽略掉某些层，即我们可以先训练容易的层

Transformer编码器

  • 编码器包括两个子层：Self-Attention、Feed Forward，缩略图如下：
最低0.47元/天 解锁文章
【NLP】使用变压器（tranformer）和自动编码器
gongdiwudu的专栏
07-21 6675
自然语言处理 （NLP）中，trnsformer和编码器是至关重要的概念；本篇不是探讨原理，而是讲现实中，如何调用和使用transformer以及encoder，注意。本文中有时出现“变压器”，那是transormer的同义词，在此事先声明。
Transformer架构原理详解：编码器（Encoder）和解码器（Decoder）
AI大模型应用之禅
12-24 1450
Transformer, 编码器, 解码器, 自注意力机制, 多头注意力, 位置编码, 序列到序列, 自然语言处理 1. 背景介绍 近年来，深度学习在自然语言处理（NLP）领域取得了显著进展，其中Transformer架构扮演着至关重要的角色。自2017年谷歌发布了基于Transfo
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
weixin_41686431的博客
03-26 6956
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
深度学习理论基础（七）Transformer编码器和解码器
qq_1033275663的博客
04-07 3156
但是Transformer 的是完全基于self-Attention地，而self-attention是不能获取词语位置信息的，就算打乱一句话中词语的位置，每个词还是能与其他词之间计算attention值，就相当于是一个功能强大的词袋模型，对结果没有任何影响。它允许模型在输入序列中学习词与词之间的依赖关系，通过计算每个词对其他词的注意力权重来实现。编码器的作用是将输入序列转换为语义表示，学习输入序列中词与词之间的依赖关系，并提取输入序列的特征表示，为解码器生成目标序列提供有用的信息。
一文Transformer原理详解：Transformer模型框架、编码器（Encoder)、解码器（Decoder)
最新发布
m0_56255097的博客
03-14 1508
主要由编码器（Encoder）和解码器（Decoder）两部分组成Encoder将输入转化为固定维度的向量，由多个相同的层组成。每层有两个子层，分别是自注意力层（Self-Attention Layer）和前馈全连接层（Feedforward Layer）。其中，自注意力层通过计算输入的每个元素与其他元素的注意力分数来捕捉元素之间的长程依赖关系；而前馈全连接层将每个元素映射到另一个向量空间以捕捉更高级别的特征。
深入解析 Transformer 模型：编码器和解码器的完整实现
weixin_52582573的博客
11-06 1871
我们完成了 Transformer 模型中编码器和解码器的构建，并将它们组合成完整的模型。编码器负责将输入序列转化为高维特征，解码器在生成每个目标词时参考编码器输出，从而生成语义一致的输出序列。了解 Transformer 的内部结构有助于我们进一步优化模型，适用于各种 NLP 任务，如机器翻译和文本生成等。希望本文能帮助你理解 Transformer 编码器和解码器的核心设计和实现流程。
Transformer详解一：transformer的由来和先导知识
CV在读
11-13 503
感谢我的互联网导师：水论文的程序猿 参考资料和图片来源：Transformer、GPT、BERT，预训练语言模型的前世今生（目录） 预训练语言模型的前世今生 - 从Word Embedding到BERT B站教学视频：预训练语言模型(Transformer、BERT）的前世今生通过 ImageNet 数据集我们训练出一个模型 A，由于上面提到 CNN 的浅层学到的特征通用性特别强，我们可以对模型 A 做出一部分改进得到模型 B（两种方法）：独热编码无法计算词语之间的相似度（余弦相似度），比如fruit为[1
Transformer的前世今生 day09（Transformer的框架概述）
丿罗小黑的博客
03-26 531
Transformer的框架概述
Transformer的前世今生 day12（Transformer的三个问题）
丿罗小黑的博客
04-01 822
首先此处的Attention并不是自注意力，由于K、V同源，但是Q与K、V不同源，所以不能做自注意力Q是查询变量，即已经生成的词，K=V是源语句，因此当我们要生成这个词的时候，通过Q和K、V做注意力，就能确定源语句中哪些词对将要生成的词更有作用相反，如果Encoder给Decoder的是Q矩阵，那么我们生成的词作为K、V在Q中查询，这相当于用全部信息在部分信息里查询，这做反了。
Transformer入门（1）transformer及其编码器-解码器
weixin_xxxxx的博客
12-06 1127
Transformer模型是一种用于自然语言处理的机器学习模型，它在2017年由Google的研究者提出，并在论文《Attention is All You Need》中详细描述。Transformer模型的核心创新在于其采用了自注意力（self-attention）机制，这使其在处理序列数据（如文本）时比传统的循环神经网络（RNN）和长短期记忆网络（LSTM）更加高效。
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 9148
Transformer中解码器decoder的详细讲解（图文解释）
Transformer编码器和解码器的输入与输出
xw555666的博客
04-25 4057
要点： （1）解码器接收来自编码器的输出（向量）作为上下文信息(向量) （2）在解码器的"编码器-解码器注意力"子层之前，编码器的输出向量会被线性变换（通常通过两个不同的权重矩阵）分别转换为键（Keys, K）和值（Values, V）。这一变换帮助模型学习如何有效地利用这些向量来指导解码过程中的注意力分配 （3）解码器在每个时间步也会生成自己的向量，称为查询（Query, Q），这代表了解码器当前状态下的注意力焦点或意图。
Transformer学习笔记
modi000的博客
02-02 878
解码器是自回归的，当前时刻的输入集合是之前一些时刻的输入，在训练与预测的时候，编码器不能看到之后时刻的输出，但attention每一次都能看到完完整整的输入，所以通过掩码的注意力层避免这个情况的发生（避免在 t 时刻，看到 t 时刻以后的输入）。当某一个值比较大的时候，与其余各值的相对的差距会变大，导致最大值的softmax会更加靠近1，其余各值会更加靠近0，值就会更加向两端靠拢，算梯度的时候，梯度比较小。embedding（本质为线性层）：将输入的一个词语 token 映射成 为一个长为 d 的向量。
在Transformer模型中编码器（Encoder）的详细解释（Attention Is All You Need论文）
m0_51200050的博客
06-27 1027
这就是编码器中的一个层的完整处理过程。通过堆叠6个这样的层，编码器能够捕捉输入序列中的复杂依赖关系，并生成高维的表示，供解码器使用。多头自注意力机制允许模型在每个位置上都能关注到输入序列中的其他位置，从而捕捉到序列中的全局依赖关系。每个子层都使用残差连接，并在其后进行层归一化。这种设计确保了模型能够保持稳定的梯度，并能有效地进行训练。是子层实现的函数，比如自注意力机制或前馈神经网络。在Transformer模型中，编码器由堆叠的。
Transformer原理以及运行机制
m0_61296035的博客
11-03 9011
1.Transformer的“前世今生” transformer最开始是在
追溯XLNet的前世今生：从Transformer到XLNet
AI科技大本营
07-14 3698
作者丨李格映来源 |转载自CSDN博客导读：2019 年 6 月，CMU 与谷歌大脑提出全新 XLNet，基于 BERT 的优缺点，XLNet 提出一种泛化自回归预训练...
【NLP】Transformer大家庭简介！
fengdu78的博客
02-10 679
炼丹笔记干货作者：LilianTransformer Family01准备02Attention 以及 Self-Attention1.Attention是神经网络中的一种机制：模型可...
【Transformer系列（1）】encoder（编码器）和decoder（解码器）
热门推荐
路人贾的博客
04-15 4万+
一文带你学会encoder-decoder框架
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丿罗小黑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值