【五】Transformer：Attention is all you need

最新推荐文章于 2024-04-25 10:40:17 发布
最新推荐文章于 2024-04-25 10:40:17 发布
阅读量579 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42030496/article/details/118754275
版权

        本课由s2s的encoder和decoder结构引出transformer
        其中transformer的encoder部分，讲解了block部分，由多头注意力、残差连接&标准化、FC的前馈神经网络 
        transformer的decoder部分
        首先讲了decoder的两个类别，其中AT的表现更好，NAT表现不如AT但可以并行。然后讲了decoder的内部结构
        其中解码器相比于编码器的差别就在于：
1、多了cross attention（就是结合了encoder的输出做attention）
2、mask是为了让decoder不考虑未来的输出
3、注意decoder需要停止标记
 
        训练过程中，decoder使用正确答案在训练，适当的加入随机性可以改善模型在测试中的表现（scheduled sampling）
        训练的建议：
1、从输入复制内容，可参看pointer network模型及其变形
2、通过guided attention得到强制完整的输出，使用语音任务
3、beam search对答案明确的任务有帮助
4、挑选模型的时候，选择BLEU score最高的模型，遇到无法优化的损失函数，直接reinforcement learning

目录

一、seq2seq是一个万能模型

1、seq2seq的应用：

 2、s2s的起源和代表模型

二、transformer's encoder 

三、transformer's decoder

1、decoder会把自己的输出作为接下来的输入，所以有可能一错皆错erro propagation 问题如何解决？

2、Decoder两个类别：autoregressive v.s non-autoregressive /缩写为：AT v.s NAT

3、encoder与decoder相差的就是 mask和cross attention

a、masked Multi-head attention 别看未来

b、cross attention 连接encoder和decoder的桥梁，decoder的每一层都使用了encoder的输出

c、如何确定输出序列的长度？需要一个停止符号

四、训练

1、怎么训练？

2、训练transformer（也可以是s2s模型）的tips

a、copy mechanism：

b、guided attention

c、monotonic attention

d、location-aware attention

五、优化   

        Transformer是一个seq2seq模型，输入是一个序列，输出是一个序列，输出序列的长度由机器决定 

一、seq2seq是一个万能模型

1、seq2seq的应用：

可以解决很多的Q&A问题，可以看做一个万能模型 

  1. 语音辨识（输入的是本语言的语音，输出的是本语言的文字）
  2. 机器翻译（输入的是本语言的文字，输出的是其他语言的文字）
  3. 语音翻译（如果其他语言无文字，可以直接把其他语音翻译成有文字的语言）
  4. 语音合成（文本转语音信号）
  5. 聊天机器人（输入输出都是文字，收集大量对话，学习对应的回应）
  6. 情感分析（判断正负面感情）
  7. 文本摘要

    各种nlp问题都可以用这个模型，但是问题在定制的模型上效果会更好，定制模型请参考2020年课程

  8. 文法剖析，输入一段文字，输出一个树状结构（分析文中的语法组成）论文参考：Grammer as a foreign language
  9. 多标签分类：硬做s2s，由机器决定输出多少个类别
  10. 物体检测： 

 2、s2s的起源和代表模型

起源：

代表： 

二、transformer's encoder 

        其中的很多block，每个都是输入一排向量输出一排向量，一个block所做的事情：sa+FC的前馈神经网络 

       add&norm：残差连接residual connection + layer norm，输入和输出直接相加的结果用均值和方差做标准化。本文说明了为什么batch norm不如layer norm

        sa的结果作为FC的输入，再做一次残差连接+标准化，得到block的输出

 

三、transformer's decoder

         从常见的autoregressive 语音辨识讲起，encoder得到一排输出之后，读入decoder，首先设定一个开始符号（可以是独热编码），decoder输出一个向量。

1、decoder会把自己的输出作为接下来的输入，所以有可能一错皆错erro propagation 问题如何解决？

2、Decoder两个类别：autoregressive v.s non-autoregressive /缩写为：AT v.s NAT

AT：输入begin，输出w1，输入w1，输出w2，直到end

NAT：给多少个begin，就直接给出全部的输出。如何决定要给几个begin？另外学习一个分类器，先做分类、直接给一堆开始，看什么地方输出了end。

        优点：并行、可控的输出长度

        缺点：NAT往往不如AT的表现，为什么不好？因为multi-modality问题

 

3、encoder与decoder相差的就是 mask和cross attention

a、masked Multi-head attention 别看未来

        图1mask：原来的sa的每个输出都考虑所有的整个输入，加入mask就只能考虑之前的输出。为什么要mask？decoder的输出是一个一个输出的，不同于encoder直接输出一排，因为decoder不能考虑未来的输出 

 

b、cross attention 连接encoder和decoder的桥梁，decoder的每一层都使用了encoder的输出

        多的部分称作cross attention：是连接encoder和decoder的桥梁，这个模组的具体过程如下图

        q来自decoder，kv来自encoder，decoder通过q去encoder抽取信息作为接下来的FC的输入

        transformer中：decoder的每一层都使用了encoder的输出（也就是cross attention），也可以不这样 

c、如何确定输出序列的长度？需要一个停止符号

四、训练

1、怎么训练？

        decoder的每次输出其实就是在做分类，其输出是一个概率值，把答案给它，希望交叉熵总和越小越好

        decoder在训练的时候会给正确答案（ground truth），称作teacher forcing（把正确答案给decoder的输入）

        训练的时候看了答案，预测的时候没有怎么办？加点随机性，加点噪音

2、训练transformer（也可以是s2s模型）的tips

a、copy mechanism：

        让decoder复制输入的内容。

        最早有从输入复制内容能力的模型pointer network 下文是pn模型的变形

        聊天机器人（重复输入的内容）

        文本摘要，需要百万篇文章才能让机器说合理的句子

b、guided attention

解决漏字的问题，强迫得到完整的输出，对应语音辨识和合成很重要

c、monotonic attention

d、location-aware attention

        beam search ，每次找分数最高的来输出，称作greedy decoding 

        不是每次找到最好的，而是找整体最好的，怎么找这条路呢？算法beam search，可能不会看所有的路径

        如果答案非常明确时，beam search很有帮助。但是需要创造力的，没有帮助，decoder需要随机性（可能在训练时要加入噪音，让模型看过各种情况）TTS任务 

五、优化

        1、训练的时候，最小化交叉熵。实际上评估的时候，用BLEU score最高的模型，最大化BLEU score

        2、遇到无法优化的损失函数，直接用RL。decoder当做agent，当做RL（reinforcement learning）问题硬做 本文有点难实践 

        3、训练和测试不一致：

        测试时decoder看到的是自己的输出，可能会看到错误

        训练时看到的是正确的内容，这个现象称作 exposure bias

解决办法：训练的时候不要只给正确的内容，给点错的，这个做法称作scheduled sampling，可参考以下论文

 


 
  

        

云淡风轻__
关注
专栏目录
Transformer：Attention Is All You Need
小鹏AI
01-20 156
https://mp.weixin.qq.com/s/mW8kn4eLtiG2ROVzFOG0mA
【论文阅读】Attention Is All You Need
huitailangyz的博客
02-06 573
【2017NIPS】 论文：https://arxiv.org/pdf/1706.03762v5.pdf 代码：https://github.com/tensorflow/tensor2tensor 本文提出了新的网络结构Transformer，仅仅依靠注意力机制而不再使用循环和卷积结构 训练可以采用并行化，从而大大缩短训练时间 介绍 现有的循环模型每个时间步依次计算，这种序列化的方法大大阻碍了训练的并行 尽管有工作采用一些技巧提高了计算效率，但是这种序列化的本质问题仍然存在...
transformer学习
laner__gg的博客
11-18 588
Transformer是现在NLP领域最大的网红特征抽取器，基本现在所有的前沿研究都基于Transformer来做特征提取。《Attention is all you need》Transformer是一个用于机器翻译的编、解码器结构，这也是它为什么叫Transformer的原因。因为在序列编码中强大的特征提取能力和高效的运算特性，Transformer被从编、解码结构中抽离出来，NLP中目前最流行的特征提取器。 Transformer其实就是一个seq2seq的model！！！ ：语音方面
人工智能|深度学习——多模态条件机制 Cross Attention 原理及实现
最新发布
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
04-25 9720
虽然之前写过 Attention 的文章，但现在回头看之前写的一些文章，感觉都好啰嗦，正好下一篇要写的 Stable Diffusion 中有 cross-attention，索性就再单拎出来简单说一下 Attention 吧，那么这篇文章的作用有两个：第一是为 Stable Diffusion 做补充，第二是为后续的 Vision Transformer 和 Swin Transformer 做铺垫。
多头注意力（Multi-Head Attention）和交叉注意力（Cross-Attention）是两种常用的注意力机制的原理及区别
ywfwyht的博客
10-16 3万+
在类的初始化函数中，我们需要设置注意力头数num_heads，以及每个注意力头的k维度k_dim和v维度v_dim。在前向传播函数中，我们使用全连接层将x1投影到k_dim * num_heads维度，x2投影到k_dim * num_heads和v_dim * num_heads的空间，再将结果按注意力头和k_dim/v_dim维度进行调整。注意力计算完成后，将得分与v相乘，再将结果按注意力头和v_dim维度进行调整，最终使用全连接层将结果投影会in_dim维度，即可得到多头注意力计算的结果。
迈向分割大一统 | OneFormer：一个Transformer统治通用图像分割！
CV_Autobot的博客
12-07 2231
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【分割】技术交流群后台回复【OneFormer】获取本文论文和代码！！！摘要通用图像分割不是一个新概念。过去几十年中统一图像分割的尝试包括场景解析、全景分割，以及最近的新全景架构。然而，这样的全景架构并没有真正统一图像分割，因为它们需要在语义、实例或全景分割上单独训练，以获得最佳性能。理想情况下，真正通用的框架...
Attention is all you need(Transform)
lgy54321的博客
07-21 457
文章目录从宏观看Transformer将张量引入图景现在我们开始“编码”从宏观视角看自注意力机制从微观视角看自注意力机制什么是查询向量、键向量和值向量向量？通过矩阵运算实现自注意力机制“大战多头怪”使用位置编码表示序列的顺序残差模块解码组件最终的线性变换和Softmax层训练部分总结损失函数 从宏观看Transformer 首先将这个模型当成一个黑箱操作。在机器翻译中，就是输入一种语言，输出另一种...
初识Transformer之Attention is all you need
qq_43173239的博客
02-04 1518
文章目录前言一、初识ransformer从宏观视角看自注意力机制从微观视角看自注意力机制什么是查询向量、键向量和值向量向量？通过矩阵运算实现自注意力机制使用位置编码表示序列的顺序残差模块解码组件最终的线性变换和Softmax层训练部分总结二、Attention is all you need 翻译1 简介2 背景3 模型架构3.1 编码器和解码器堆栈3.2 Attention3.2.1 缩放的点积attention3.2.2 Multi-Head Attention3.2.3 Applications o.
Attention Is All You Need
11-16
Transformer 和 Attention 机制详解 Transformer 模型是近年来自然语言处理（NLP）领域的研究热点，该模型首次引入了 Self-Attention 机制，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，实现了...
NLP：Attention Is All You Need.pdf
04-21
"Attention Is All You Need"这篇论文提出了一种全新的架构——Transformer，它彻底改变了序列转导模型的设计思路。Transformer网络完全基于注意力机制，不再依赖于RNNs和CNNs。这种设计不仅简化了模型结构，也提高...
【PTM】Transformer：Attention Is All You Need
阿泽的学习笔记
05-20 595
今天阅读的来自谷歌大脑的同学于 2017 年发表的论文《Attention Is All You Need》，目前论文被引次数高达 6100 次。 Attention 机制是 Bengio 等同学在 2014 年提出的，并广泛应用于深度学习各个领域，如计算机视觉、NLP 等。其中，Seq2Seq 模型采用了 RNN 和 Attention 的结合成功应用于机器翻译领域，在诸多任务中都有显著的提升。 在这篇文论文中，作者提出了 Transformer 网络架构，其摒弃了传统的 RNN、LSTM 架构，完全基于
【Transformer】——李宏毅机器学习笔记
久蔡合子
12-21 1557
Transformer
BERT源码详解（一）——HuggingFace Transformers源码解
张伟的专栏
10-31 2904
这一次不介绍新文章，只是记录一下对HuggingFace开源的Transformers项目代码的理解。不算什么新鲜的东西，权当个人的备忘录，把了解过和BERT相关的东西都记录下来。本文首发于知乎专栏机器学不动了，禁止任何未经本人 @Riroaki 授权的转载。 众所周知，BERT模型自2018年问世起就各种屠榜，开启了NLP领域预训练+微调的范式。到现在，BERT的相关衍生模型层出不穷（XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等），要理解它们可以先从BERT这个始祖...
【科研】浅学Cross-attention？
热门推荐
MengYa_Dream的博客
09-04 9万+
图像处理相关重点科研记录 1.Cross attention概念 2.Cross-attention vs Self-attention 3.Cross-attention算法 4.Cross-Attention 案例-感知器IO
Attention中的Mask: query mask, key mask, future mask
weixin_40901056的博客
07-27 9168
Attention简介 Attention是2015年被提出来的，在NLP领域大放光彩。Attention具有在繁多信息中自动focus到重点的能力，而且Attention可以实现并行，一定程度上可以替代LSTM等循环神经网络，提高模型效率。Attention的具体介绍可以参考Attention总结。 根据上面的Attention总结，Attention可以看作是 QKV 模型，假设输入为 q，（...
【深度学习】语义分割:论文阅读：（2021-12）Mask2Former
zhe470719的博客
06-04 8332
论文：Masked-attention Mask Transformer for Universal Image Segmentation 代码： 官方-代码 代码视频： b站论文讲解笔记参考： 翻译版Mask2Former在MaskFormer的基础上，本文的改进呢**主要是mask attention还有high-resolution features，**本质上是一个金字塔，剩下的一些关于训练上的还有optimization上改进呢，能够提高训练速度 masked attention 我们知道dec
transformers5--t5模型中encoder与decoder内容不同解读
小姑仔的博客
11-26 7455
t5模型中encoder与decoder内容不同查看transformers库之中的encoder和decoder部分内容的不同查看没有key_value_states以及query_length的情况下，T5Attention模型的调用过程 查看transformers库之中的encoder和decoder部分内容的不同 仔细观察发现，t5selfattention和t5crossattention的区别在于t5crossattention之中多加入了两个参数 t5selfattention的内容 sel
深度学习：transformer模型
皮皮blog
12-10 5万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
自然语言处理之Attention大详解（Attention is all you need）
Miracle8070
02-20 1万+
1. 写在前面 今天分享的论文是2017年谷歌团队发表的一篇论文，这是一篇非常经典的自然语言处理领域的文章，基于这篇文章，才有了最近非常火的bert， Albert等模型，接触这篇文章是在一次直播中看到的，因为经典，所以就想着读了读（虽然不是搞nlp的，但总感觉知识这东西都有一定的通性，多学一些肯定没有坏处，万一以后要用到呢？）。但是这篇论文本身我读了一遍之后，感觉不太懂，感觉里面有些东西并不是说...
attention is all you need下载
12-14
"Attention is All You Need"是一篇由Google Brain团队撰写的论文，介绍了一种新颖的神经网络架构——Transformer网络。该网络结构通过全注意力机制来实现序列到序列的学习，无需使用传统的循环神经网络或卷积神经网络。这篇文章发表在2017年的NIPS会议上，迅速引起了学术界和工业界的关注。 随后，由于该网络结构在机器翻译等自然语言处理任务上取得了令人瞩目的成果，因此吸引了广泛的关注和应用。因此，越来越多的研究者、工程师和技术人员开始关注并研究这一网络结构，以探索其在其他领域的应用潜力。 针对"Attention is All You Need"的研究成果，Google Brain团队还开源了一个名为"Tensor2Tensor"的工具库，以帮助研究者和开发者更方便地构建和训练基于Transformer网络的模型。这一举措进一步推动了人们对该网络结构的关注和研究。 目前，"Attention is All You Need"论文已经成为自然语言处理领域的经典之作，被广泛引用和借鉴。它的影响力不仅仅局限于学术界，许多公司和组织也开始将其应用于他们自己的产品和项目中。可以说，"Attention is All You Need"的下载不仅仅代表了一篇论文的获取，更代表了一种前沿技术和思想的引入和传播。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值