深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别

最新推荐文章于 2023-10-24 09:45:28 发布
最新推荐文章于 2023-10-24 09:45:28 发布
阅读量443 收藏
点赞数
分类专栏： 日常学习 文章标签： 模型学习 CT图像基础知识 开发语言
原文链接：https://blog.csdn.net/amusi1994/article/details/117491753
版权

【深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别

转载 各种注意力机制

在这里插入图片描述
论文 ：https://arxiv.org/abs/2105.02358

代码：https://github.com/MenghaoGuo/-EANet

本次更新主要包含了三个方面：

加入了 multi-head external attention 机制，multi-head external attention 也可以使用两个线性层实现，由于有了 multi-head external attention 结构，我们实现了一个 MLP 结构，我们把它叫做 EAMLP。

补充了一个 ablation study 的实验以及一些分析，可以更清楚的理解这种 external attention 机制。

补充了 COCO 上的 object detection 和 instance segmentation 的实验和 Tiny ImageNet 上的生成实验。现在已经在图像分类、检测、分割、实例分割、图像生成、点云的分割和分割上证明了 external attention 的有效性。
在这里插入图片描述
其他见原文：转载-剩下部分写的非常好

土豆娃potato
关注
专栏目录
NLP-生成模型-2017-Transformer（一）：Encoder-Decoder模型【非序列化；并行计算】【O(n²·d)，n为序列长度，d为维度】【用正余弦函数进行“绝对位置函数式编码”】
u013250861的博客
12-18 2116
Transformer 概述 2018年10月，Google发出一篇论文[《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》](https://arxiv.org/pdf/1810.04805.pdf), BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩! 而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNET，roBERT等模型击败了BER
注意力机制、Encoder、Decoder
Lc_001的博客
03-10 1038
注意力机制、Encoder、Decoder
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
【深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别
UESTC_201722的博客
03-24 1万+
最近以QA形式写了一篇nlp中的Attention注意力机制+Transformer详解 分享一下自己的观点，目录如下：一、Attention机制剖析1、为什么要引入Attention机制？2、Attention机制有哪些？（怎么分类？）3、Attention机制的计算流程是怎样的？4、Attention机制的变种有哪些？5、一种强大的Attention机制：为什么自注意力模型（self-Atte...
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 9万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
常见注意力机制原理介绍与对比
linchuhai的博客
02-13 2万+
1. 引言     自从2014年Seq2Seq提出以来，神经机器翻译取得了很多的进展，但是大部分模型都是基于encoder-decoder的结构，这就要求encoder对于输入序列的编码能力要足够强，才能确保得到的输入序列的上下文向量能够尽可能地保留输入序列的信息。而我们知道，随着句子的长度逐渐变长，上下文向量的表达能力其实是会逐渐下降的，因为它没法完全保留输入序列的大部分信息。因此，为了克服...
深度学习建模训练总结（五）：梳理NLP发展里程碑——各种注意力机制对比分析
jesseyule的博客
09-17 6670
之前提到，seq2seq的一大缺点是单一的语义向量难以表达长序列的完整语义，而改善这一问题的一个有效方法就是结合注意力机制，在不同的时刻针对输出计算包含不同语义的语义向量： 所谓注意力机制，本质上就是在分析过程中引入权重，在本文，我主要介绍两种注意力计算框架：原始的计算框架和multi-head attention，从原始的框架中又进一步划分为：soft attention（key=value）、soft attention（key!=value）、self-attention（query=key=va.
Encoder-Decoder架构与注意力机制
qq_18310041的博客
07-14 7947
Encoder-Decoder架构模型，如下图： Encoder会利用整个原始句子生成一个语义向量，Decoder再利用这个向量翻译成其它语言的句子。这样可以把握整个句子的意思、句法结构、性别信息等等。 Encoder对X 进行非线性变换得到中间语义向量c　： Decoder根据语义c 和生成的历史单词来生成第个单词 　： Encoder和Decoder具体使用什么模型，都可以自己...
深度学习中的注意力机制：从基本原理到Encoder-Decoder框架
Attention机制有多种变体，如自注意力（Self-Attention）和Transformer中的多头注意力（Multi-Head Attention）。自注意力允许序列中的每个位置都与自身和其他位置交互，增强了模型处理长距离依赖的能力。多头注意力...
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5816
self-attention，transformer及变形
EAM---OASA-Website
05-29
EAM---OASA-网站 重新设计公共交通网站（ ）。
encoder-decoder 注意力机制整理名望所
studyvcmfc的专栏
06-30 329
https://blog.csdn.net/kylin_learn/article/details/85124081
深度学习之注意力机制Attention
qq_40216188的博客
02-09 949
深度学习之注意力机制Attention一、Encoder-Decoder机制1.1 前言1.2 Encoder-Decoder原理二、Attention机制 一、Encoder-Decoder机制 1.1 前言 Encoder-Decoder机制：编码-解码框架，大部分Attention模型都基于该机制，该机制处理序列-序列的问题，即输入一个序列，生成一个序列问题。比如： 1）文本摘要，输入一篇文章(序列数据)，生成文章的摘要(序列数据)； 2）文本翻译，输入一句或一篇英文(序列数据)，生成翻译后的中文(
深度学习attention原理_关于深度学习：Attention 及 self-attention
weixin_39773158的博客
12-19 691
前记现在的深度学习中，特别是在NLP领域里面，几乎attention已经成为了每个模型的标配，因为attention模型在序列建模上面有着天然的优势，能够将注意力集中到特定的部分。1 Attention的提出 ​ 在机器翻译(NMT)的任务中，为解决RNN中的Encoder-Decoder的基础上target端输入固定长度的问题，提出了Align方式，这也是Attention的开始。这篇paper...
【深度学习】从self-attention到transformer（Multi-head self-attention）
五好市民金闪闪的博客
07-25 622
简介 今天讲以self-attention为基础讲解它的升级版 Muti-head self-attention，不了解self-attention的童鞋可以戳这里【深度学习】从self-attention到transform（self-attention入坑指南） 废话不说，正式开始。 为什么要使用Multi-head self-attention？ 单纯从字面意思看，Multi-head self-attention比self-attention多了Multi-head，它的意思为多头。可以理解为多种
Self-attention 和Multi-head attention
myblog
06-09 1532
self attention:标度点积 class ScaledDotProductAttention(nn.Module): def __init__(self): super(ScaledDotProductAttention, self).__init__() def forward(self, Q, K, V, attn_mask): ...
【注意力机制的区分】Attention、Self-Attention、Multi-Head Attention
最新发布
weixin_44943389的博客
10-24 702
总的来说，Attention 是一种在序列数据处理中用于动态聚焦于关键部分的技术，Self-Attention 是一种特殊的注意力机制，允许模型在序列内部不同位置之间建立动态关系，而 Multi-Head Attention 则是对自注意力的扩展，允许模型学习多组不同的自注意力权重，以提升模型的表达能力。这些技术在 Transformer 模型中取得了巨大成功，被广泛应用于自然语言处理等领域。这三个概念都是在深度学习中与序列数据处理以及自注意力机制（Self-Attention）相关的重要技术。
学习笔记 各种注意力机制 MSA, W-MSA, Local Attention,Stride Attention, ...
weixin_43791477的博客
05-21 8087
学习笔记 各种注意力机制 MSA, W-MSA, Local Attention,Stride Attention, ...
机器翻译：引入注意力机制的Encoder-Decoder深度神经网络训练实战中英文互译（完结篇）
weixin_51672245的博客
05-01 2741
注意力机制是一种在深度学习中广泛使用的技术，它可以有效地处理输入序列和输出序列之间的对应关系。其中，Encoder-Decoder是一种常见的注意力机制，它主要用于序列到序列的任务，例如机器翻译、语音识别等。在Encoder-Decoder中，输入序列首先通过一个编码器进行编码，然后再通过一个解码器进行解码，最终生成输出序列。在这个过程中，注意力机制可以帮助模型更好地理解输入序列中的重要信息，并在生成输出序列的过程中更加准确地对其进行利用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值