Transformer

最新推荐文章于 2024-04-20 21:06:28 发布
最新推荐文章于 2024-04-20 21:06:28 发布
阅读量499 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 人工智能 numpy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61094172/article/details/121461577
版权

胡乱写的！！！！！！

目录

一、初探Encoder-Decoder

1.Encoder

2.回到transformer的图

二、Decoder – Autoregressive (AT)

1、Decoder内部结构

1）带Masked的MHA

三、Decoder – Non-autoregressive (NAT)

四、Encoder-Decoder

五、Training

六、训练的Tips

一、初探Encoder-Decoder

在这里插入图片描述

一般的seq2seq’s model分成2块——Encoder和Decoder

 在这里插入图片描述

 input一个sequence有Encoder，负责处理这个sequence，再把处理好的结果丢给Decoder

 由Decoder决定，它要输出什么样的sequence

在这里插入图片描述

1.Encoder

在这里插入图片描述

 

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

注意：
batch normalization是对不同example，不同feature的同一个dimension，去计算mean跟standard deviation。
但layer normalization，它是对同一个feature，同一个example里面不同的dimension去计算mean跟standard deviation。
 

 

2.回到transformer的图

在这里插入图片描述

首先 你有self-attention，其实在input的地方，还有加上positional encoding（如果你只光用self-attention,你没有位置的资讯）


Multi-Head Attention,这个就是self-attention的block，用到多头注意力机制


Add&norm,就是residual加layer normalization


接下来,要过feed forward network


fc的feed forward network以后再做一次Add&norm,再做一次residual加layer norm，才是一个block的输出,


然后这个block会重复n次，这个复杂的block，其实在之后会讲到的一个非常重要的模型BERT，它其实就是transformer的encoder

二、Decoder – Autoregressive (AT)

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

1、Decoder内部结构

在这里插入图片描述在这里插入图片描述

 在这里插入图片描述

1）带Masked的MHA

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

三、Decoder – Non-autoregressive (NAT)

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

四、Encoder-Decoder

在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

五、Training

在这里插入图片描述

 在这里插入图片描述

六、训练的Tips

在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 

来自新世界、
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Transformer详解
weixin_44762713的博客
07-05 1万+
Transformer详解 1. 简介 Transformer是一个面向sequence to sequence任务的模型，在17年的论文《Attention is all you need》中首次提出。Transformer 是第一个完全依赖自注意力（self-attention）来计算输入和输出的表示，而不使用序列对齐的递归神经网络或卷积神经网络的转换模型。
变形金刚——Transformer入门刨析详解
m0_67505927的博客
03-02 8万+
Transformer详解
Transformer详解讲解
最新发布
D_YueChu_F的博客
04-20 1241
Transformer论文详解，包含计算复杂度，已经自注意力机制的解释
【超详细】【原理篇&实战篇】一文读懂Transformer
艰难困苦，玉汝于成。
11-02 9万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Transformer是什么？看完这篇你就醍醐灌顶
fs1341825137的博客
09-15 5万+
前言 由谷歌团队提出的预训练语言模型BERT近年来正在各大自然语言处理任务中屠榜（话说学者们也挺有意思的，模型名都强行凑个芝麻街的人物名，哈哈哈）。 BERT算法的最重要的部分便是Transformer的概念，它本质上是Transformer的编码器部分。 而Transformer是什么呢？transformer是永远的神，自从transformer使用了抛弃rnncnn的纯attention机制之后，各种基于transformer结构的预训练模型都如雨后春笋般雄起，而transformer中最重要就是使用
Transformer PPT
04-22
介绍了为什么要引入self-attention、self-attention的基本原理、self-attention的矩阵表示、Multi-head self-attention、 Positional Encoding、seq2seq
CSWin Transformer
08-20
Transformer设计中一个具有挑战性的问题是，全局自注意力的计算成本非常高，而局部自注意力通常会限制每个词向量的交互域。为了解决这个问题，作者提出了CSWin Transformer。CSWin Transformer 在常见的视觉任务上...
transformer
03-17
Transformer是一种在自然语言处理（NLP）领域具有革命性影响的模型架构，由Google的研究团队在2017年提出。这个模型彻底改变了序列到序列（seq2seq）学习的范式，尤其在机器翻译任务中表现出了显著的优越性。...
图解Transformer
02-24
Transformer在Goole的一篇论文被提出，为了方便实现调用TransformerGoogle还开源了一个第三方库，基于TensorFlow的，一个NLP的社区研究者贡献了一个Torch版本的支持：。这里，我想用一些方便理解的方式来一步一步...
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
transformer代码
12-11
Transformer模型是自然语言处理（NLP）领域的一个里程碑式创新，由Google在2017年的论文《Attention is All You Need》中提出。这个模型彻底改变了传统的序列模型，如RNN（循环神经网络）和LSTM（长短期记忆网络），...
时间序列Transformer for TimeSeries时序预测算法详解.docx
04-10
【时间序列Transformer】是2017年Transformer架构在自然语言处理(NLP)领域取得显著成就后，被引入到时间序列预测领域的创新尝试。Transformer模型以其强大的序列建模能力，尤其是Multi-head Attention机制，能够在...
你真的看懂Transformer了吗？小白学习笔记为你答疑解惑
xuleoo的博客
09-26 8095
Transformer是一种基于注意力机制的序列到序列模型，它在机器翻译任务中表现出色并逐渐成为自然语言处理领域的主流模型。Transformer模型的核心思想是使用自注意力机制（self-attention）来捕捉输入序列中各个位置的上下文关联。自注意力机制允许模型在编码和解码过程中对不同位置的信息进行加权，使得模型能够更好地理解上下文，并将重要的信息加权汇聚起来。通过多层的自注意力机制和前馈神经网络，Transformer模型能够学习到输入序列的表示，并生成与任务相关的输出。
Transformer 模型详解
热门推荐
步入人工智能
05-29 25万+
本内容主要介绍 Transformer 模型的具体实现。
Transformer模型详解
人无远虑，必有近忧
01-19 2万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由CSDN开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值