总结Attention与Self-Attention之间的区别

最新推荐文章于 2024-03-08 11:19:04 发布
最新推荐文章于 2024-03-08 11:19:04 发布
阅读量780 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41657873/article/details/114818382
版权

简单总结

在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source中的所有元素之间。而Self Attention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下的注意力计算机制。其具体计算过程是一样的，只是计算对象发生了变化而已

详细介绍

[NLP]Attention机制与self-Attention机制https://blog.csdn.net/weixin_44538273/article/details/86501056

Arxan_hjw
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。 依赖 Python 3.5 凯拉斯 数据集 IMDB影评高度分类数据集，来自IMDB的25,000条影评，被标记为正面/纵向两种评价。影评已被预先为词下标构成的序列。方便起见，...
推荐系统（十六）推荐系统中的attention机制
更木的博客
12-01 4514
attention
史上最小白之Attention详解
热门推荐
Tink1995的博客
03-24 9万+
1.前言 说到attention机制，那可真是太牛逼了。不会attention都不好意思说自己视深度学习从业者，那么今天我们就来一步一步剖析一下这近几年来最火的深度学习模型。 2.Encoder-Decoder 2.1Encoder-Decoder简介 Encoder-Decoder框架顾名思义也就是编码-解码框架，目前大部分attention模型都是依附于Encoder-Decoder框架进行实...
Attention 和 Self-Attention 总结
最新发布
安静的软件工程师
03-08 957
Attention 和 Self-Attention 总结
深入理解推荐系统：推荐系统中的attention机制
u013385018的专栏
11-11 1595
什么是attention机制、在推荐模型中的应用（会介绍相关模型，AFM/DIN/DIEN/DST）和参考文献 什么是attention机制 Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射，在计算attention时主要分为三步 第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等； 第二步一般是使用一个softmax函数对这些权重进行归一化； 第三步将权重和相应的键值value进行加...
【学习笔记】Transformer详解
Small__明的博客
04-04 3892
transformer详解
干货|理解attention机制本质及self-attention
小白学视觉
03-31 1153
点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达上一篇，我们讲述了attention的知识，这篇接上篇，更加深入的理解attention的有关思想和最新的self-attention机制一、Attention机制的本质思想如果把Attention机制从上文讲述例子中的Encoder-Decoder框架中剥离，并进一步做抽象，可以更容易看懂Atte...
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
Self-Attention-ConvLSTM-sample.zip
09-09
来自Self-Attention ConvLSTM for Spatiotemporal Prediction文章的Self-Attention Module的实现。使用python3语言，tensorflow2.0框架编写。
从三大顶会论文看百变Self-Attention - self-attention的相关思想以及最新的研究进展.zip
11-11
从三大顶会论文看百变Self-Attention，i.e.,了解并熟悉self-attention的相关思想以及最新的研究进展。另外，一并附上一个self-attention论文集仓库（https://github.com/PengboLiu/NLP-Papers）
Self-Attention-GAN-Tensorflow-master.zip
05-29
GAN生成对抗网络 基于Tensorflow 实现去噪 以及图片生成 可自己修改图片数据集 以及迭代次数等 内附命令行 小白可上手
浅谈Attention与Self-Attention，一起感受注意力之美
little_spice的博客
07-29 2665
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文，犹如一道惊雷，Attention横空出世了！（有一说一，这标题也太他喵嚣张了，不过人家有这个资本(oﾟ▽ﾟ)o）很快Attention就被推上了神坛，搭载着犹如核弹的Transformer，Bert出现了，在NLP的各个任务上屠榜，后来预训练模型遍地开花，在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......
Target attention deep neural network for infrared image enhancement
qq_44577105的博客
08-15 355
目标注意深度神经网络在红外图像增强中的应用 Abstract 红外图像固有的高背景辐射和低对比度严重影响了目标检测和识别的精度。然而，现有的红外图像增强方法仍然难以平衡目标增强和背景抑制。为了进一步解决这个问题，我们提出了一种创新的目标注意深度神经网络（TADNN），以实现端到端的鉴别增强。在该框架中，构造了一个联合卷积单元（JCU）来综合挖掘互补的多尺度空间特征，然后设计了一个目标注意单元（TAU）来进一步细化JCU中的特征，以增强目标。此外，还提出了一种改进的S曲线响应模型来生成面向任务的训练集，以寻求
注意力机制
qq_45496282的博客
11-29 2805
引入注意力机制-异常检测 在异常检测中，可以引入注意力机制来更加的关注需要检测的缺陷部分作为出发点。
attention与self attention的区别
十三
10-31 9383
1 什么是注意力机制？ 当我们观察某件事物/景色的时候，往往会先简单看下周围环境，然后将重点放在某一重要部分。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，也是从众多信息中选择出对当前任务目标更关键的信息。下图形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于下图所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。 2 从encoder和decode说起 encoder-decode框架在自然语言处
Attention和Self-attention之间的区别
qq_41744697的博客
01-27 8976
介绍一下Attention和Self-attention之间的区别 一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型，这是非常有道理的。 目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率，这在机器翻译语境下是非常直观的：传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤，而注意力模型其实起的是相同的作用。 在一般任务的Encoder-Decoder框架中，输入Sourc
NLP面试常考知识点
weixin_41287060的博客
06-17 539
心血来潮，整理NLP常考内容TransformerAttention 和 Self-Attention的区别是什么？三级目录 Transformer Attention 和 Self-Attention的区别是什么？ 三级目录
self-attention和attention区别
weixin_43758551的博客
08-05 1万+
在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子， Attention机制发生在Target的元素Query和Source中的所有元素之间。------------------------------------------------------------...
深度学习attention原理_简述Attention机制
weixin_39812065的博客
12-19 617
1. 介绍最近两年，Attention Model在深度学习上得到了广泛应用，在诸如NLP，图像识别，语音识别等很多领域都得到了很大的发展。本文简要总结一下自己学习过程中对注意力机制的理解，再顺便介绍一下最近比较热门的self-attention自注意力模型，文中很多图片来自张俊林博士的博客《深度学习中的注意力机制》。2. 视觉注意力在2014年当时还在巴黎六大做实习的时候，我第一次了解到视觉注意...
ProbSparse self-attention与self-attention的区别
03-31
ProbSparse self-attention是一种稀疏化的self-attention模型，与传统的self-attention模型有所不同。传统的self-attention模型在计算注意力权重时，需要对所有输入序列的位置进行计算。而ProbSparse self-attention...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值