Transfomer编码器中自注意力机制、前馈网络层、叠加和归一组件等讲解（图文解释）

最新推荐文章于 2024-10-31 19:02:23 发布
最新推荐文章于 2024-10-31 19:02:23 发布
阅读量351 收藏
点赞数
分类专栏： 管理体系 大语言模型 GPT 文章标签： 深度学习 机器学习 语言模型
沧海之巅
本文链接：https://blog.csdn.net/linjie_830914/article/details/131543813
版权
管理体系 同时被 3 个专栏收录
72 篇文章 43 订阅 ¥9.90 ¥99.00
订阅专栏 超级会员免费看
大语言模型
40 篇文章 1 订阅
订阅专栏
GPT
31 篇文章 2 订阅
订阅专栏
本文详细介绍了Transformer编码器的结构，包括自注意力机制，多头注意力层，位置编码，前馈网络层以及叠加和归一组件。自注意力机制通过计算词与词之间的关系来理解句子意义，多头注意力增强了模型的准确性，位置编码则保留了词序信息。前馈网络层由全连接层组成，叠加和归一组件则用于稳定模型训练和输出。
摘要由CSDN通过智能技术生成

Transformer中的编码器不止一个，而是由一组N个编码器串联而成，一个编码的输出作为下一个编码器的输入，如下图所示，每一个编码器都从下方接收数据，再输出给上方，以此类推，原句中的特征会由最后一个编码器输出，编码器模块的主要功能就是提取原句中的特征

image.png

我们又可以将编码器中的结构进行细分

image.png

由上图可知，每一个编码器的构造都是相同的，并且包含两个部分

1：多头注意力层

2：前馈网络层

下面我们对其进行讲解

一、自注意力机制
让我们通过一个例子来快速理解自注意力机制

a dog ate the food because it was hungry

想必大家都能看懂这句英文的意思，句中的it可以指代dog也可以指代food，我们自然是很好理解，但是对于计算机而言该如何决定呢？自注意力机制有助于解决这个问题

以上句为例，我们的模型首先需要计算出

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沧海之巅
关注
专栏目录
订阅专栏
Transformer大模型实战 前馈网络层
AI天才研究院
08-04 476
Transformer大模型实战 前馈网络层 1.背景介绍 1.1 Transformer模型概述 Transformer是一种革命性的序列到序列(Sequence-to-Sequence)模型,由Google的V
Transformer大模型实战 叠加和归一组件
AI大模型应用之禅
07-17 709
Transformer大模型实战：叠加和归一组件 关键词： Transformer架构 自注意力机制 前馈神经网络 多头自注意力 点积自注意力 FFN层 层归
详解Transformer的自注意力机制、位置编码以及整体架构（内容生动易懂，并有完整transformer架构详解）
m0_63669388的博客
07-05 2045
本文是对Transformer的自注意力机制、位置编码等一些前置知识的讲解，目的是更好的理解Transformer这个模型
Transformer算法解读（self-Attention/位置编码/多头注意力/掩码机制/QKV/Transformer堆叠/encoder/decoder）
机器学习与软件工程
06-30 2839
Transformer算法解读（self-Attention/位置编码/多头注意力/掩码机制/QKV/Transformer堆叠/encoder/decoder）
详解深度学习中自注意力机制、多头注意力、位置编码、编码器和解码器层以及前馈神经网络
qq_23865133的博客
03-06 2108
自注意力（Self-Attention），也称为内部注意力，是一种注意力机制，使模型能够在序列内部加权并关注到不同位置的信息。这允许模型捕捉序列内的上下文关系，例如，在处理一个句子时，模型可以学会将“它”与句子中的正确名词关联起来。自注意力机制通过计算序列中每个元素对其他所有元素的注意力分数来工作，这些分数决定了在生成每个元素的表示时应该给予序列中其他元素多少权重特点全局依赖建模: 能够捕获长距离依赖，不受序列长度限制并行计算: 相比于RNN的序列化处理，自注意力可以并行处理所有元素，提高计算效率。
Transformer：注意力机制（attention）和自注意力机制（self-attention）的学习总结
热门推荐
目前涉及领域：目标检测，语义分割以及数字图像处理
09-04 5万+
本文主要分为两个部分： 第一部分重点介绍了注意力机制的原理、公式演变、评分函数以及多头注意力。 第二部分重点介绍了自注意力机制的原理、优缺点以及和注意力机制的区别，并最后给出了单头和多头自注意力机制的图片示例。
【AI 大模型】GPT 大模型训练架构 ( Transformer 架构 | 编码器和解码器 | 输入序列的位置编码 | 自注意力机制编码流程 | Transformer 训练代码示例 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
06-25 1592
一、GPT 大模型训练架构 - Transformer 架构 1、Transformer 架构 2、Transformer 架构的编码器和解码器 3、输入序列的位置编码 4、自注意力机制编码流程 5、OpenAI 开源的训练 GPT 大模型的 Transformer 代码 6、Transformer 代码示例
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
IT菜鸟
09-13 2364
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
transformer--编码器1(掩码张量、注意力机制、多头注意力机制)
进击的菜鸟
02-28 2641
掩代表遮掩，码就是我们张量中的数值，它的尺寸不定，里面一般只有1和0的元素，代表位置被遮掩或者不被遮掩，至于是0位置被遮掩还是1位置被遮掩可以自定义，因此它的作用就是让另外一个张量中的一些数值被遮掩，也可以说被替换,它的表现形式是一个张量.
【深度学习】实验 — 动手实现 GPT【二】：注意力机制、注意力掩码、多头注意力机制
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-31 616
（在本书中，我们遵循机器学习和深度学习的常见惯例，即训练样本表示为行，特征值表示为列；在上面的张量中，每一行表示一个词，每一列表示一个嵌入维度。（请注意，此图中的数字已截取至小数点后两位，以减少视觉杂乱；同样，其他图中的数字也被截取。在自注意力机制中，首先计算注意力分数，随后对其进行归一化以得出总和为 1 的注意力权重。接下来，我们将推广该计算，以求得所有的注意力权重和上下文向量。然后，这些注意力权重被用于通过输入的加权求和生成上下文向量。上面我们计算了输入 2 的注意力权重和上下文向量。
深度学习案例：一步步搭建多层神经网络以及应用
STRANGEX-03的博客
10-31 330
该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第四周编程作业，一步步搭建多层神经网络以及应用，作业内容是搭建一个能够识别猫的多层的神经网络。作业提供的资料包括：训练集、测试集、测试实例、神经网络工具包、加载数据的工具包，下载请移步参考链接一。
深度学习（九）：推荐系统的新引擎（9/10）
最新发布
小相探索IT世界
10-31 1448
深度学习在推荐系统中的应用为用户带来了更智能、更个性化的推荐体验。通过与推荐系统的融合，深度学习解决了传统推荐系统在处理大规模、高维度数据时的力不从心，以及冷启动和数据稀疏等问题。在应用方式上，各种 2vec 的应用、基于神经协同过滤的推荐以及在个性化推荐系统中的特征表示学习、序列模型和嵌入模型等，都为推荐系统的准确性和个性化提供了有力支持。构建深度学习推荐系统时，需要考虑整体框架与技术选择，如大数据框架和深度学习模型的选择。同时，通过具体案例分析，可以更好地理解深度学习在推荐系统中的实际应用。
基于 GADF+Swin-CNN-GAM 的高创新扰动信号识别模型！
10-30 718
基于格拉姆矩阵GADF+Swin Transformer窗口注意力和CNN-GAM全局注意力的电能质量扰动信号识别模型!
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 628
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深度学习之激活函数
weixin_43775295的博客
10-30 1114
PiexpθiTx∑k1KexpθiTxPi∑k1K​expθiT​xexpθiT​x​​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。
基于YOLO11/v10/v8/v5深度学习的危险驾驶行为检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
阿旭的博客
10-30 1572
基于YOLO11/v10/v8/v5深度学习的危险驾驶行为检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1283
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
【征程 6 工具链性能分析与优化-1】编译器预估 perf 解读与性能分析
地平线开发者
10-30 956
这篇文章中，我们将首先介绍layerdetails中的参数信息，然后将结合实例分析如何利用layerdetails来分析模型的性能瓶颈，进而对模型的性能进行优化。
自注意力机制和transfomer的关系
09-02
自注意力机制和Transformer是密切相关的。Transformer是一种用于自然语言处理的深度学习模型，它基于自注意力机制来捕捉输入序列中的关联信息。Transformer模型可以在输入和输出之间进行并行计算，因此在训练和推理时都具有高效性。其核心思想是将输入序列映射为一个高维向量空间中的表示，然后通过自注意力机制来学习序列中的依赖关系，最终将该表示映射回输出序列。因此，自注意力机制是Transformer模型中最重要的组成部分之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沧海之巅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值