一文读懂「Transformer」算法模型

已于 2025-02-11 12:23:02 修改
阅读量2.4k 收藏 14
点赞数 32
分类专栏： AI人工智能：一文读懂「X」系列 文章标签： transformer 深度学习 人工智能
于 2024-01-08 14:58:23 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Julialove102123/article/details/135457093
版权

前面讲到过chatgpt的知识，提到了chatgpt的实现原理包含了transformer内容，所有非常有必要来补充一下这部分的内容。
资料：一文读懂「Attention」注意力机制

在这里插入图片描述

一、什么是Transformer？

Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。

🔍 Why Transformer？

  • RNN：能够捕获长距离依赖信息，但是无法并行计算；
  • CNN：能够并行，无法捕获长
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【机器学习】一文搞懂算法模型之：Transformer
商务合作 | 面试培训 | 职场规划 ==>主页扫码
03-22 5383
必会算法模型之：Transformer
原创 | 一文读懂Transformer
数据派THU
07-09 1351
作者：陈之炎 本文约3500字，建议阅读7分钟 Transformer 是第一个完全依赖于自注意力机制来计算其输入和输出的表示的转换模型。主流的序列到序列模型是基于编码器-解码器的循环或卷积神经网络，注意力机制的提出，优化了编解码器的性能，从而使得网络性能达到最优。利用注意力机制构建出新的网络架构Transformer, 完胜了循环或卷积神经网络。Transformer...
Transformer算法详解
极光喵的博客
03-08 1884
Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后，几个具有影响力的模型被引入，包括：（1）2018年6月：GPT，第一个预训练的Transformer模型，用于微调各种自然语言处理任务，并获得了SOTA模型效果。（2）2018年10月：BERT，另一个大型预训练模型，旨在生成更好的句子摘要。（3）2019年2月：GPT-2，GPT的改进版本（模型更大），由于道德问题没有立即公开发布。
终于把 Transformer 算法搞懂了！！
2401_84208172的博客
10-12 1211
今天给大家介绍一个超强的算法模型，TransformerTransformer 是一种基于自注意力机制（Self-Attention）的神经网络模型，最早由 Vaswani 等人在论文《Attention is All You Need》中提出，主要用于处理序列到序列的任务，例如自然语言处理（NLP）中的翻译任务。与传统的循环神经网络（RNN）和长短期记忆网络（LSTM）相比，Transformer 通过完全摆脱循环结构，依赖于注意力机制来捕捉序列中的长依赖关系。
Transformer 模型介绍
最新发布
SO_zxn的博客
03-23 1403
Transformer 模型介绍
Transformer算法说明
benben044的专栏
06-09 3085
transformer算法说明
Transformer 大模型详解——transformer模型
zhishi0000的博客
06-30 7086
解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢？通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络，其将解码器栈的输出向量映射到一个更长的向量，这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词（模型的输出词汇表）。因此 logits 向量有 10000 个数字，每个数表示一个单词的分数。然后，Softmax 层会把这些分数转换为概率（把所有的分数转换为正数，并且加起来等于 1）。
【自然语言处理 | Transformers】Transformers 常见算法介绍合集（一）
wzk4869的博客
09-18 806
【自然语言处理 | Transformers】Transformers 常见算法介绍合集（一）
transformer理解
qq_22613769的博客
08-31 7102
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN和LSTM 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 1.Transformer 结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构。 ...
一文读懂大语言模型：基础概念篇
孟林洁的博客
08-26 3940
在当今AI时代，大语言模型正以前所未有的速度重塑我们的世界。作为NLP领域的明星，它们不仅理解语言，更创造语言，开启了智能交互的新纪元。 本文将介绍着重介绍大模型的概念，帮助大家简单了解其技术原理、发展历程，并介绍国内外比较优秀的大模型。
一文读懂：大模型RAG
weixin_42029738的博客
06-11 1121
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
一文了解Transformer全貌（图解Transformer）
hzh1981903的博客
06-14 592
Transformer是谷歌在2017年的论文《Attention Is All You Need》中提出的，用于NLP的各项任务，现在是谷歌云TPU推荐的参考模型。网上有关Transformer原理的介绍很多，在本文中我们将尽量模型简化，让普通读者也能轻松理解。Transformer由于可并行、效果好等特点，如今已经成为机器翻译、特征抽取等任务的基础模块，目前ChatGPT特征抽取的模块用的就是Transformer，这对于后面理解ChatGPT的原理做了好的铺垫。
transformer算法解析
benben044的专栏
01-16 4083
transformer的概述、详述，以及示例代码
transformer算法具体介绍
weixin_48304306的博客
10-06 2987
transformer算法
Transformer 模型详解
酒酿小圆子呀～
03-27 5708
本内容主要介绍 Transformer 模型的具体实现。2017 年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。相比 RNN 网络结构，其最大的优点是可以并行计算。
Transformer模型学习笔记
不忘初心 加油
12-01 3374
1 参考资料 该文介绍了RNN到Transformer的特征提取器，很全面 该文对Transformer论文的解释和介绍很清楚 该文对Transformer介绍也很透彻，本文主要内容来自这里，建议看 论文的原文地址 2 模型主要内容 该模型是google提出的主要利用Attention思想做词embedding，也可以称为特征抽取器。目前大热的Bert也是以改模型为基础设计的，本文主要是对该模型进行一个学习记录。 模型的总体结构 该模型原本是由Google推出应用在翻译上的，因此，我们可以理解为，Trans
Transformer 模型
lqq
10-24 1721
Transformer 是一种基于自注意力机制的深度神经网络结构，由谷歌在2017年提出，最初应用于机器翻译任务。与传统的循环神经网络（RNN）不同，Transformer 摒弃了序列依赖的结构，依靠自注意力机制全局建模输入序列中的依赖关系，极大提升了并行计算效率和捕捉长程依赖的能力。其主要组件包括编码器、解码器、多头注意力机制、前馈网络、残差连接和层归一化。
Transformer模型
kuxingseng123的博客
10-21 2741
不断的研究与看视频，最终目的是将transformer给其搞透彻，尤其是前向传播与反向传播，以及模型细节都给其研究透彻。
【原理篇】一文读懂Transformer
08-19
Transformer模型是一种基于自注意力机制（Self-Attention）的深度学习架构，最初由Google的团队在2017年提出的论文《Attention Is All You Need》中详细介绍[^4]。它的核心思想是让模型能够并行地处理序列中的每个位置，而不是像RNN那样顺序依赖。 **原理概述**[^4]: 1. **自注意力机制**: Transformer通过计算查询（query）、键（key）和值（value）之间的相似度来建立元素间的直接联系。这个过程不依赖于先前的状态，而是考虑整个输入序列。 2. **多头注意力(Multi-head Attention)**: 分成多个子层执行注意力操作，每个子层有自己独立的权重参数，可以捕获不同抽象层次的关系。 3. **位置编码(Positional Encoding)**: 对于缺少循环结构的Transformer来说，引入了位置信息到输入，以捕捉词语之间的相对顺序。 4. **残差连接和层归一化**: 残差网络允许信息在网络的不同层之间自由流动，而层归一化则有助于加速训练。 5. **自回归性与掩码(Masking)**: 对于生成任务，为了保持预测的顺序性，模型会限制前向传播时对未来的访问。 要深入理解Transformer的工作原理，你可以从以下几个方面入手： - **Transformer架构示意图**: 查看其标准的encoder-decoder结构[^4]。 - **注意力机制的数学公式**: 学习softmax加权求和的实现细节[^5]。 - **实际代码实现**: 参考开源库如Hugging Face Transformers[^6]中的代码，通过实践构建一个简单的Transformer模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

朱晓霞AI

您的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值