《AI大模型开发笔记》——Transformer架构解析

已于 2024-10-22 23:34:24 修改
阅读量7.6k 收藏 59
点赞数 14
分类专栏： 深度学习 NLP AI大模型开发笔记 文章标签： 自然语言处理 transformer 人工智能
于 2022-10-09 19:29:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq837993702/article/details/127231439
版权

目录

一、Transformer背景介绍

1、Transformer的诞生

2、Transformer的优势

3、Transformer的市场 

二、Transformer架构解析

1、认识Transformer架构

1.1、Transformer模型的作用

1.2、Transformer总体架构图

2、输入部分实现

2.1、文本嵌入层的作用 

2.2位置编码器的作用 

3 、编码器部分实现

 3.1、 掩码张量

 3.2、注意力机制

 3.3、多头注意力机制

 3.4、前馈全连接层

 3.5、规范化层

3.6 子层连接结构 

3.7 编码器层

 3.8 编码器

 4 解码器部分实现

4.1 解码器层

 4.2 解码器

5 输出部分实现

线性层的作用

softmax层的作用

一、Transformer背景介绍

1、Transformer的诞生

2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!

论文地址: https://arxiv.org/pdf/1810.04805.pdf

而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNET，roBERT等模型击败了BERT，但是他们的核心没有变，仍然是：Transformer.

2、Transformer的优势

相比之前占领市场的LSTM和GRU模型，Transformer有两个显著的优势:

  1. Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.
  2. 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好.

下面是一张在测评比较图:

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《AI大模型开发笔记》——基于深度学习的自然语言处理
qq837993702的博客
01-08 3798
Bi-LSTM即双向LSTM, 它没有改变LSTM本身任何的内部结构, 只是将LSTM应用两次且方向不同, 再将两次得到的LSTM结果进行拼接作为最终输出.
模型架构选择：从传统NLP到Transformer
AI天才研究院
03-02 353
自然语言处理（NLP）是人工智能的重要分支，旨在使计算机能够理解、解释和生成人类语言。随着互联网的发展和数据量的激增，NLP技术在文本分类、机器翻译、情感分析、问答系统等多个领域得到了广泛应用。然而，NLP任务的复杂性和多样性对模型架构提出了巨大挑战。传统的NLP模型架构，如基于规则的方法、统计模型、词袋模型等，虽然在早期取得了一定的成果，但随着数据规模和任务复杂度的增加，这些方法逐渐暴露出其局限性。为了应对这些挑战，研究人员不断探索新的模型架构，从传统的RNN、CNN，到近年来备受瞩目的Transform
自然语言处理(NLP)入门——Transformer详解(1)
one time one step的博客
03-31 596
Transformer的背景: 2017年发表的的Transformer论文 2018年出现 优势: Transformer能够利用分布式GPU进行并行训练，提升模型训练效率. 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好. attention机制的使用. Transformer结构解析 输入部分 源语言的文本嵌入层 + 位置编码器 目标语言的文本嵌入层 + 位置编码器 编码器部分 编码器是有N个编码器层组成 编码器层是由两个子层连接结构构成 第一个子层连.
NLP 之 transformer
robustness博客
01-10 682
1 Transformer模型 Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。 Transformer模型是2018年5月提出的，可以替代传统RNN和CNN的一种新的架构，用来实现机器翻译，论文名称是attention is all you need。无论是RNN还是CNN，在处理NLP任务时都有缺陷。CNN是其先天的卷积...
全面解析 Transformer：改变深度学习格局的神经网络架构
最新发布
qq_56683019的博客
12-04 5669
Transformer 是一种基于"注意力机制（Attention Mechanism）"的神经网络架构，主要用于处理序列数据。与传统的循环神经网络（RNN）不同，Transformer 通过并行计算和全局注意力机制，极大提升了模型的效率和性能。Transformer 的设计理念基于简单但高效的注意力机制，其并行化特性和强大的表征能力使其成为现代深度学习的核心模型。从 NLP 到 CV，再到多模态任务，Transformer 正在推动 AI 的新一轮变革。
Transformer介绍及架构解析
码python的Vinsmoke
11-03 3314
第一章:Transformer背景介绍 1.1 Transformer的诞生 2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩! 论文地址: https://arxiv.org/pdf/1810.04805.pdf 而在BERT中发挥重要作用的结构就是Transformer..
自然语言处理Transformer
llikecat的博客
06-24 1252
Transformer与RNN不同，可以比较好地并行训练。Transformer本身是不能利用单词的顺序信息的，因此需要在输入中添加位置Embedding，否则 Transformer就是一个词袋模型了。Transformer的重点是Self-Attention 结构，其中用到的QKVQ, K, VQKV矩阵通过输出进行线性变换得到。
自然语言处理中的Transformer
简之的通向技术之路
07-05 747
1、seq2seq seq2seq 是一个 Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。 这个结构最重要的地方在于输入序列和输出序列的长度是可变的，可以用于翻译，聊天机器人，句法分析，文本摘要等。 seq2seq的结构如下： 当然，目前说到seq2seq，最为人所熟知的就是Transformer，Transformer的结构如下： 2
【详解】NLP之Transformer详解
LeeZhao的博客
06-24 1957
Transformer详解 Attention is all you need 是一篇将 Attention 思想发挥到极致的论文，出自 Google。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN (其实也不完全是，还是用到了一维卷积)。这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。 参考资料： Transformer 模型的 PyTorch 实现 《Attention is All You Need》
【AI人工智能】用于代码生成的大型语言模型 Large Language Models for Code Generation
热门推荐
AI天才研究院
06-09 1万+
大型语言模型通常采用Transformer等注意力机制架构,能够有效捕获输入序列中长程依赖关系。具体而言,编码器将输入序列映射为上下文表示,解码器则根据上下文和已生成的部分序列预测下一个token。代码生成任务中的输入序列可以是自然语言的问题描述、函数签名、测试用例等形式。模型通过学习大量的代码-自然语言语料对,建立两者之间的映射关系。在生成阶段,给定输入序列,解码器基于学习到的知识逐步推理和生成目标代码。
【AI写作】怎样使用AI写作每天赚钱？——文本生成的艺术《AI写作的未来》使用 AI 写作和每天产生被动收入的终极指南
AI天才研究院
12-25 176
在当今数字时代，内容创作已成为一种极具潜力的赚钱方式。随着人工智能技术的飞速发展，AI写作工具的出现为内容创作者提供了前所未有的机遇。这些工具不仅能够提高写作效率，还能帮助创作者生产高质量、多样化的内容，从而实现每天稳定的被动收入。本文将深入探讨如何利用AI写作工具来创造持续的收入流，为读者提供一个全面的指南。AI写作工具主要基于自然语言处理（NLP）和机器学习技术。文本生成：使用深度学习模型（如GPT系列）生成连贯、流畅的文本。语义理解：分析输入的提示或主题，理解上下文和意图。
深度学习自然语言处理-Transformer模型
08-31
Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。Transformer是：“首个完全抛弃RNN的recurrence，CNN的convolution，仅用attention来做特征抽取的模型。“ 本文简介了Transformer模型。
NLP之Transformer
Ton的博客
03-10 1818
总体来看，Transformer这个模型架构还是遵循着Encoder-Decoder的格式。此外，Transformer由注意力机制模块组成，因此在学习Transformer之前有必要对注意力机制有个了解(点这里)。 参考文档： ①：Transformer模型的PyTorch实现 TransformerSelf-attentionScaled dot-product attentionMulti-head self-attentionResidual connectionPositional Encodi.
自然语言处理之Transformer
m0_37327467的博客
04-17 575
自然语言处理之文本处理步骤 自然语言处理之特征提取和嵌入 深度学习之注意力机制attention 这篇文章是自然语言处理的第四篇，上篇讲到attention机制，这篇文章主要介绍一下attention的极致应用。全文都是我自己理解，有兴趣的可以看看这篇文章：The Illustrated Transformer，真的写的太好了。这位博主还是Udacity上的老师，我在上自然语言处理的时候讲师就...
nlp之transformer
GeekPlusA的博客
07-07 188
人工智能的发展大概可以分为四个阶段 第一个阶段：运算智能，主要体现在记忆和计算 第二个阶段：感知智能，主要体现在听觉、视觉、触觉 第三个阶段：认知智能，具体体现在语言、知识、推理方面 第四个阶段：创造智能 transformer@[TOC](transformer)1. encoder2. decoder问题 1. encoder 2. decoder 问题 Transformer为何使用多头注意力机制？（为什么不使用一个头） Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同.
自然语言处理 |Transformer详解
qqywm的博客
08-10 641
https://blog.csdn.net/sdu_hao/article/details/88328024
NLP模型（五）——Transformer模型介绍
ifhuke的博客
09-01 419
Transformer的各个结构的介绍
自然语言处理（十五）：Transformer介绍
GeniusAng的博客
01-13 2524
自然语言处理（十五）：Transformer介绍
【自然语言处理五】Transformer模型
moo611的博客
12-31 710
揭秘大语言模型：Transformer架构与实战代码
"大语言模型原理解析与示例代码"是一份针对自然语言处理、深度学习和人工智能领域的专业教程。它聚焦于讲解大语言模型，特别是Transformer架构下的模型，如GPT-3，这些模型在处理文本生成、理解和NLP任务中展现出了...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Richard Chijq

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值