深度学习中的变形金刚——transformer

已于 2025-03-20 10:55:22 修改
阅读量1k 收藏 18
点赞数 15
文章标签： transformer 深度学习 人工智能
于 2024-04-30 23:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zcg1942/article/details/137243814
版权

很荣幸能和这些大牛共处一个时代。网络结构名字可以是一个卡通形象——变形金刚，论文名字可以来源于一首歌——披头士乐队的歌曲《All You Need Is Love》。

transformer在NeurIPS2017诞生，用于英语-德语，英语-法语的翻译，在BLEU(bilingual evaluation understudy)指标上得到了很好的表现。由自然语言生成代码也是一种翻译，文生图也是一种转换，事实上chatgpt，bert都是基于tranformer的。

RNN的问题：

为了将前文的信息传递到后面，让后面的字符利用前文信息，其实已经有RNN了：

问题是前面的信息，越往后权重会低，是一个指数衰减的过程。

​

还有一个问题是权重反复利用，也是指数的关系，这样权重的细微抖动，就会造成很大的差异。

​

LSTM解决了一些RNN的问题

长短期记忆网络LSTM，但这项技术只能按照顺序处理句子，无法有效利用文章后面可能出

最低0.47元/天 解锁文章
zcg1942
关注
【变形金刚01】attention和transformer所有信息
gongdiwudu的专栏
08-12 7463
这是一篇 长文 ，几乎讨论了人们需要了解的有关注意力机制的所有信息，包括自我注意、查询、键、值、多头注意力、屏蔽多头注意力和转换器，包括有关 BERT 和 GPT 的一些细节。因此，我将本文分为两部分。在本文中，我将介绍所有注意力块，在下一个故事中，我将深入探讨变压器网络架构。
『NLP学习笔记』如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]
AI新视界
10-12 1115
如何理解Transformer中的Q,K,V以及Mask FLOPS(注意全大写)，是floating point operations per second的缩写，意指 每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
变形金刚Transformer详解
Zosse的博客
06-24 1407
写了上一篇，就必有这一篇~我们输入一个I love you，输出我爱你，输入一段声音，输出得到你真美。输入长度跟输出长度没有决定性的关系，由机器决定输出的是什么。encoder是由6层独立的layers构成。每层由两个子层，就是上图左边的两个。第一个是一个多头 self-attention结构。第二个是一个简单的基于点的全连接前向网络。输入b经过self-attention后得到a，借鉴了残差网络的思想使输入跟self-attention的输出相加得到结果在输入至 layar Normalization，得
Transformer（“变形金刚”）
Mr_Suda的博客
12-03 2183
上一篇博客里面，我们讲解了self-attention机制。而self-attention机制最早是在“Attenion Is All Your Need”这篇论文中提出的。而self-attention只不过是这边论文的很小一支而已。所以今天在这里我们要介绍这篇论文的精髓所在——Transformer（“变形金刚”） 1.Transformer模型结构 在第一次写attention那篇博客中，我们将attention机制嵌套到了Encode—Decoder的架构来解释其运行的原来。在那篇博客中，我们利
【原理篇】小白入门Transformer！一文了解Transformer架构
最新发布
m0_60302377的博客
03-15 2101
BART、PEGASUS 模型用于生成新闻摘要。✅。
Transformer
01-31 153
毕业工作五年了，一直没有换工作，乐此不疲地做Flex+Java的企业级软件开发。最近工作内容一直重复以前的东西，心情有些低落；经常和同学聊聊天，也去其他公司了解了一下情况，发现自己对分布式系统开发更感兴趣，比如LAMP框架下的Hadoop开发，开发并部署程序到上千个节点上运行，那是多么有挑战性的工作呀。所以决心重新开始另一条职业之旅，向分布式，高性能和RIA的结合进发。以此为...
【深度学习】深刻理解“变形金刚”——Transformer
weixin_62403234的博客
12-08 2500
Transformer 是一种用于处理序列数据的深度学习模型架构，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。它彻底改变了自然语言处理（NLP）领域，成为许多高级任务（如机器翻译、文本生成、问答系统等）的基础架构。Transformer 的核心思想是，而不依赖于传统的 RNN 或 CNN，在机器翻译上效果特别好，横扫NLP领域。
transformer--变形金刚
Tingsie的博客
08-15 909
bert就是无监督训练的transformer transformer :seq2seq model with “self-attention” 单向的RNN: 在输出b4的时候，已经看了a1~a4 在输出b3的时候，已经看了a1~a3 双向的RNN: 在输出每一个bi的时候，已经看了a1~a4 RNN的优点： 可以考虑到长距离的依赖 RNN的缺点： 不能实现并行化 也可以用CNN来处理序列数据，图中每一个三角代表一个filter CNN的优点：如果想要考虑长距离依赖，需要叠加多层filter CNN的优
transformer（”变形金刚“）
m0_70008390的博客
02-10 842
在seq2seq基础上提出，将注意力机制充分利用，对于注意力，可以这样理解，对于一个东西肯定有部分是重要的没有部分是不那么重要的，例如一张狗的图像，我们要理解这是一只狗，首先就要先关注到他的一些主要特征比如鼻子眼睛等，在此基础上进行拼接想象，加以背景结合，最终得到预测结果，对于文本也是一样，你在联想到食物时，吃这个词，要比修饰食物的形容词更容易让人点题，注意力机制就是动态的根据查询，关键和值的矩阵进行权重计算和预测分数的计算来，得出图片文本的主要特征，好用来预测主题。它是机器翻译领域中常用的评估指标。
论文阅读6——VIT：Vision Transformer（包括ViT代码复现）
2403_87584552的博客
10-16 3214
虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合应用，要么用于替换卷积网络的某些组件，同时保持其整体结构。我们表明，这种对CNN的依赖是没有必要的，并且直接应用于图像补丁序列的纯Transformer可以在图像分类任务中表现得非常好。
transformer理解
qq_22613769的博客
08-31 7173
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN和LSTM 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 1.Transformer 结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构。 ...
BERT大火却不懂Transformer？读这一篇就够了
热门推荐
BigDataDigest的博客
01-08 1万+
大数据文摘与百度NLP联合出品编译：张驰、毅航、Conrad、龙心尘编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得STOA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了STOA效果。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attent...
掌握深度学习：Transformer视频课程精讲
资源摘要信息:"深度学习-Transformer实战系列视频课程" 一、深度学习基础概念 深度学习是机器学习的一个分支，它基于神经网络的理论和技术。深度学习通过模拟人脑的神经元网络，构建多层的神经网络模型，能够自动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值