Transformer总体结构以及各部分介绍

最新推荐文章于 2024-03-31 21:45:43 发布
最新推荐文章于 2024-03-31 21:45:43 发布
阅读量709 收藏 4
点赞数 1
分类专栏： Trnsformer 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46176086/article/details/129940067
版权

1、背景介绍

        2018年10月，Google发出一篇论文 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》BERT模型横空出世，并横扫NLP领域11项任务的最佳成绩!

        而在BERT中发表重要作用的结构就是Transformer，之后又相继出现XLNET，roBERT等模型击败了BERT，但是他们的核心没有变，任然是：Transformer

2、Transformer的优势

  1. Transformer能够利用分布式GPU进行并行训练，提升模型训练效率。
  2. 在分析预测更长的文本时，捕捉间隔较长的语义关联效果更好。

2.1 认识Transformer架构

Transformer模型的作用：

        基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务如机器翻译文本生成等.同时又可以构建预训练语言模型，用于不同任务的迁移学习.

transformer：总体架构图

 Transformer：总体架构可分为四个部分

  • 输入部分
  • 输出部分
  • 编码器部分
  • 解码器部分

输入部分包含：

  • 源文本嵌入层及其位置编码器
  • 目标文本嵌入层及其位置编码器

 输出部分包含：

  • 线性层
  • softmax层

 编码器部分：

  • 由N个编码器层堆叠而成
  • 每个编码器由两个子层连接结构组成
  • 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接
  • 第二个子层连接结构包括一个前馈全连接子层和规范化以及一个残差连接

 

 解码器部分：

  • 由N个解码器堆叠而成
  • 每个解码器层由三个子层连接结构组成
  • 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接
  • 第二个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接
  • 第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接

 内容总结于：B站视频（个人感觉很好）

陈庄村东地的码农
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Transformer介绍.zip
04-08
transformer。核心特性 自注意力机制（Self-Attention）：自注意力机制允许模型在处理序列的每个元素时，同时考虑序列中的所有其他元素，这使得模型能够捕捉到序列内部的复杂关系。 并行化处理：与RNN不同，Transformer模型可以并行处理序列中的所有元素，这大大提高了训练效率。 位置编码（Positional Encoding）：由于Transformer模型没有循环结构，它无法像RNN那样自然地处理序列中元素的顺序信息。为了解决这个问题，Transformer引入了位置编码，将位置信息加入到输入序列中。 多头注意力（Multi-Head Attention）：Transformer模型使用多头注意力机制来增强模型的表达能力，通过并行地学习序列数据的多种表示，提高了模型的性能。 层叠结构：Transformer模型由多个编码器和解码器层组成，每一层都包含自注意力机制和前馈神经网络，这些层的输出会逐层传递和细化。 位置感知的前馈网络：在每个编码器和解码器层中，都包含一个位置感知的前馈网络，它对每个位置的表示进行独立的变换，增强了模型的灵活性。
大模型核心技术原理: Transformer架构详解
马沛专栏
06-05 5069
四是，通用语言模型，如 GLM，该模型结合了自回归和自编码两种形式的模型，举个例子，“123456”是一串输入的序列，现在把 “3”、“5”、“6” 挖空，让模型去学习，那么，挖空以后换成一个 “ mask token” 告诉模型这个地方遮掉了一些内容，现在需要去预测出来遮掉的内容。一是，自编码模型，如 BERT，简单讲就是给到一句话，然后把这句话的内容挖空，当问及挖空的内容时，就把内容填回去，这其实是典型地用来做一个自然语言理解的任务，但做生成任务是非常弱的；本文由博客一文多发平台。
Transformer详解（三）：Transformer 结构
sophicchen的专栏
12-04 1万+
Transformer结构是谷歌那篇《Attention is all you need》论文中提到的。论文中提出了transformer这么一种新的结构，将其应用在机器翻译的领域上，取得了很好的效果。本文将分析一下Transformer结构的具体组成部分。 1. 整体结构 Transformer 整体结构宏观上看是一个Encoder-Decoder结构，只不过这个结构完全抛弃了常见的RNN,...
深入理解Transformer结构与实现
最新发布
u010355748的专栏
03-31 763
Transformer模型是一种以注意力机制为核心，用于处理序列数据的神经网络架构。它和Attention机制一起在论文《Attention is All You Need》中被提出，并迅速成为自然语言处理（NLP）领域的基石技术。Transformer模型的主要优势在于其能够并行处理序列数据，从而大幅度提高训练效率，同时在多个NLP任务中取得了当时的最先进成果。Transformer模型采用了编码器-解码器（Encoder-Decoder）的架构，如下图。
Transformer入门（一）——结构
yeen123的博客
06-02 8440
Transformer入门介绍篇，分别介绍了Transformer的总体结构与每个模块的实现原理
Transformer介绍讲义pdf
10-18
Transformer介绍讲义pdf
【自然语言处理】Transformer架构解析
张小猪的家
08-16 1355
文章目录Transformer架构解析1. 认识Transformer架构Transformer模型的作用Transformer总体架构图2. 输入部分实现文本嵌入层的作用位置编码器的作用3. 编码器部分实现3.1 掩码张量3.2 注意力机制3.3 多头注意力机制3.4 前馈全连接层3.5 规范化层3.6 子层连接结构3.7 编码器层3.8 编码器4. 解码器部分实现4.1 解码器层4.2 解码器5. 输出部分实现线性层的作用softmax层的作用 Transformer架构解析 1. 认识Transfor
深度学习 Transformer架构解析
热门推荐
mengxianglong123的博客
08-10 1万+
2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNET，roBERT等模型击败了BERT，但是他们的核心没有变，仍然是：Transformer.相比之前占领市场的LSTM和GRU模型，Transformer有
Transformer(二)--论文理解：transformer 结构详解
12-10 1万+
文章目录1. transformer的基本结构2. 模块详解2.1 模块1：Positional Embedding(以下简称PE模块）：2.2 模块2：Multi-Head Attention(多头注意力机制)2.2.1 Scaled Dot-Product Attention（缩放的点积注意力机制）2.2.2 Multi_Head（多头机制）2.3 模块3：ADD2.4 模块4：Layer Normalization2.5 模块5：Feed Forward NetWork2.6 模块6：Masked M
Transformer架构解析——认识Transformer架构
zane96的博客
11-12 1278
Transformer模型的总体架构——输入部分、输出部分、编码器部分、解码器部分
Transformer详解，中文版架构图
人工智能曾小健
06-15 8897
2.2.1 “编码器-解码器”架构Seq2Seq 思想就是将网络的输入输出分别看作不同的序列，然后实现序列到序列的映射，其经典实现结构就是“编码器-解码器”框架。编码器-解码器框架如图 2.7 所示。图2.7 编码器-解码器的基本框架在 Seq2Seq 思想应用于自然语言处理之初，编码器解码器主要使用的是 RNN 及其变体。针对输入，编码器会先遍历输入序列，根据循环神经网络的特性，每一层的输入都包含了当前层的输入和前一层的隐藏状态，而。
BERT：预训练的深度双向 Transformer 语言模型
04-28
我们提出了一种新的称为 BERT 的语言表示模型，BERT 代表来自 Transformer 的双向编码器表示 （Bidirectional Encoder Representations from Transformers）。不同于最近的语言表示模型（Peters et al., 2018，Radford et al., 2018）， BERT 旨在通过联合调节所有层中的左右上下文来预训练深度 双向表示。因此，只需要一个额外的输出层，就可以对预训练的 BERT 表示进行微调，从而为广泛的 任务（比如回答问题和语言推断任务）创建最先进的模型，而无需对特定于任务进行大量模型结构的 修改。 BERT 的概念很简单，但实验效果很强大。它刷新了 11 个 NLP 任务的当前最优结果，包括将 GLUE 基准提升至 80.4%（7.6% 的绝对改进）、将 MultiNLI 的准确率提高到 86.7%（5.6% 的绝对改进）， 以及将 SQuAD v1.1 的问答测试 F1 得分提高至 93.2 分（提高 1.5 分）——比人类表现还高出 2 分。
即将取代RNN结构的Transformer
01-27
本文来自于segmentfault，文章介绍了Transformer的整体结构、attention计算过程等相关内容。上图是经典的双向RNN模型，我们知道该模型是通过递归的方式运行，虽然适合对序列数据建模，但是缺点也很明显“它无法并行...
Transformer各层网络结构详解！面试必备！(附代码实现)
人工智能曾小健
02-15 1147
是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。
【Transformer系列（4）】Transformer模型结构超详细解读
路人贾的博客
04-20 7485
Transformer模型结构超级详细的解读，一文带你了解什么是Transformer，小白入门必看！
【NLP】Transformer大家庭简介！
fengdu78的博客
02-10 532
炼丹笔记干货作者：LilianTransformer Family01准备02Attention 以及 Self-Attention1.Attention是神经网络中的一种机制：模型可...
Transformer架构解析
wdn blog
05-21 3249
Transformer 是第一个完全依赖自注意力来计算其输入和输出表示，而不是使用序列对齐 RNN 或卷积的模型。
Transformer架构详解
m0_63260018的博客
12-18 1396
Transformer是一种深度学习模型，最初是由Vaswani等人在2017年的论文《Attention Is All You Need》中提出的。这种模型在自然语言处理（NLP）领域特别流行，它引入了一种新的机制——自注意力（self-attention），使得模型能够更加高效和有效地处理序列数据。
Transformer结构解析
codelady_g的博客
11-03 5198
Transformer模型的结构和计算过程
swin transformer unet结构
05-01
Swin Transformer UNet是一种结合了Swin Transformer和UNet结构的图像语义分割模型。它的结构如下： 首先，输入的图像经过一系列的卷积层和下采样操作，得到一个特征图。这个特征图会被分成多个分辨率的子特征图，每个子特征图都会分别经过Swin Transformer的编码器部分，得到对应分辨率的语义特征。 接着，将这些分辨率的语义特征与上一级的上采样结果进行融合，得到一个更高分辨率的语义特征图，这个过程类似于UNet中的上采样操作。这个高分辨率的语义特征图也会经过Swin Transformer的编码器部分，得到更丰富的特征信息。 最后，通过一些卷积层和上采样操作，将这些特征图进行融合和调整，得到最终的分割结果。这个过程也类似于UNet中的上采样操作。 总体来说，Swin Transformer UNet结合了Swin Transformer的强大特征提取能力和UNet的有效的上采样操作，可以在图像语义分割任务中取得优秀的表现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值