深度学习笔记 —— 注意力机制 + 注意力分数

最新推荐文章于 2024-09-22 21:34:14 发布
最新推荐文章于 2024-09-22 21:34:14 发布
阅读量595 收藏 3
点赞数
分类专栏： # 深度学习 文章标签： 深度学习 注意力
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lightindarkness/article/details/124691589
版权

 

随意线索：指有意识去关注的点

根据查询去寻找比较感兴趣的东西

K：衡量x和xi之间距离的一个函数。\frac{K(x - x_i)}{\sum_{j = 1}^nK(x - x_i)}一除就拿到每一项的相对重要性，然后加权求和。

 

参数化，加入一个可以学习的参数。

 

 

好处：key和query可以是任意长度

 

注意力分数是没有被normalize过的

 

Whisper_yl
关注
专栏目录
《动手学深度学习——机器翻译及相关技术，注意力机制与seq2seq模型，Transformer》笔记
01-20
注意力机制包括几种类型，如点积注意力（Dot-Product Attention）和MLP注意力等，其中点积注意力要求key和query的维度相同，并通过除以d的平方根来归一化。 加入注意力机制的seq2seq模型，每个时间步Decoder产生的...
深度学习——注意力分数（笔记+代码）
jbkjhji的博客
02-09 1808
③假设query和key的所有元素都是独立的随机变量，并且都满足零均值和单位方差，那么两个向量的点积的均值为0，方差为d。（除以根号d的目的是为了降低对ki的长度的敏感度，使得 无论向量的长度如何，点积的方差都在不考虑向量长度情况下是1）①假设query是一个长为q的向量，ki是长为k的向量，vi是长为v的向量。①注意力分数是query和key的相似度，注意力权重是注意力分数的softmax的结果（0到1之间的数）①α（x,xi）：注意力权重，权重是一组大于等于0，相加和为1的数。
动手学深度学习（四十七）——注意力分数
Liu Feng's Blog
02-19 2784
文章目录一、注意力评分函数二、注意力分数高维拓展1. 可加性注意力2. 缩放的“点－积”注意力三、总结 一、注意力评分函数 f(x)=∑i=1nα(x,xi)yi=∑i=1nexp⁡(−12(x−xi)2)∑j=1nexp⁡(−12(x−xj)2)yi=∑i=1nsoftmax(−12(x−xi)2)yi.(1-1)\begin{aligned} f(x) &=\sum_{i=1}^n \alpha(x, x_i) y_i\\ &= \sum_{i=1}^n \frac{\exp\left(
跟李沐学AI：注意力机制、注意力分数
最新发布
Landy_Jay的博客
09-22 1012
心理学认为人通过随意线索和不随意线索选择注意点。注意力机制中通过query（随意线索）和key（不随意线索）来偏向性地选择输入。一般可写作：。其中是注意力权重。注意力分数是query和key的相似度，注意力权重是注意力分数softmax后的结果注意力分数分为加性模型和点积模型。
注意力机制之注意力分数
qq_36136196的博客
09-16 5187
目录注意力分数扩展到高维加性注意力scaled 点积注意力总结代码 注意力分数 注意力分数和注意力权重的区别： 扩展到高维 这里，q的数量和key-value对的数量可以不一致。q,k,v的维度都可以不同，最后得到的结果和v的维度一样。关键在于注意力分数a的设置。 加性注意力 h是超参数。Wk是从k映射到h维，Wq是从q映射到h。q,k,v这三个向量的维度可以不一样 scaled 点积注意力 q,k都是相同的维度，这里除以d还是为了减少输入长度的影响（类似于归一化） 有多个query，这里，每一行表示
1.注意力机制
ReallySongziyang的博客
09-26 1751
注意力机制，加性注意力，缩放点积注意力
深度学习-注意力机制和分数
qq_41286360的博客
06-12 1188
注意力机制源于对人类视觉的研究，描述了人类在处理大量信息时，会选择性地关注某些信息而忽略其他信息的过程。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，这种机制被称为注意力机制。注意力机制是一种强大的工具，它通过模拟人类处理信息的方式，帮助深度学习模型更加高效地处理大量数据。随着研究的深入，注意力机制在各个领域的应用也将越来越广泛。注意力分数在注意力机制中扮演着关键角色，它决定了模型在处理信息时对不同部分的关注程度。
深度学习（基于Tensorflow2.0）学习笔记——Day2
01-20
本篇学习笔记主要关注如何在Tensorflow2.0环境下开始深度学习的学习和实践。 【深度学习基础知识回顾】 在开始实战前，对深度学习的基础知识进行回顾是必要的。这包括神经网络的基本概念、反向传播算法、损失函数...
《动手学深度学习》task4——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer笔记
01-06
系统学习《动手学深度学习》点击这里： 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 ...《动手学深度学习》task4_2 注意力机制和Seq2se
一篇了解NLP中的注意力机制
数智物语
03-20 9679
文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。 转自 | AI小白入门（公众号ID: StudyForAI） 作者 | yuquanle，985在读硕士，目前研究方向为自然语言处理 00 目录 1.写在前面 2.Seq2Seq 模型 3.NLP中注意...
自然语言处理 | (26) 注意力(Attention)机制总结
sdu_hao的博客
03-06 1万+
原文地址 目录 1. 前言 2. Seq2Seq 模型 3. NLP中注意力机制起源 4. NLP中的注意力机制 5. Hierarchical Attention 6. Attention机制的本质 7. Self-Attention 8. Memory-based Attention 9. Soft/Hard Attention 10. Global/Local Att...
注意力机制
qq_36575363的博客
11-25 2066
本文用几张动图形象地解释了注意力机制，还分享了过去 5 年中出现的 4 个 NMT 架构，对文中出现的一些概念也进行了直观解释。 几十年来，统计机器翻译在翻译模型中一直占主导地位 [9]，直到神经机器翻译（NMT）出现。NMT 是一种新兴的机器翻译方法，它试图构建和训练单个大型神经网络，该网络读取输入文本并输出译文 [1]。 NMT 的最初开拓性研究来自 Kalchbrenner 和 Blunsom (2013)、Sutskever 等人 (2014) 和 Cho. 等人...
注意力机制(Attention)原理详解
热门推荐
weixin_52668444的博客
03-29 3万+
文章结构1. 为什么需要Attention2. Attention的基本原理3. Attention存在的问题总结 1. 为什么需要Attention 在了解Attention之前，首先应该了解为什么我们需要注意力机制。我们以传统的机器翻译为例子来说明为什么我们需要Attention。 传统的机器翻译，也称机器翻译(Neural machine translation)，它是由encoder和decoder两个板块组成。其中Encoder和Decoder都是一个RNN，也可以是LSTM。不熟悉RNN是如何工
【动手学深度学习v2】注意力机制—1 注意力评分函数
weixin_43650171的博客
08-24 908
注意力机制——注意力评分函数
注意力机制——注意力评分函数（代码+详解）
gary101818的博客
02-07 1万+
目录注意力分数关于a函数的设计有两种思路1.加性注意力(Additive Attention)2.缩放点积注意力（Scaled Dot-Product Attention）模块导入遮蔽softmax操作加性注意力代码：补充知识：1.torch.repeat_interleave(data, repeat= , dim=)2.torch.nn.Linear(*in_features*, *out_features*, *bias=True*, *device=None*, dtype=None）3.torch
通俗易懂：8大步骤图解注意力机制
AI科技大本营
11-25 5571
作者 | Raimi Karim译者 | 夕颜出品 | AI科技大本营（ID:rgznai100）【导读】这是一份用图片和代码详解自注意力机制的指南，请收好。BERT、RoBERTa、ALBERT、SpanBERT、DistilBERT、SesameBERT、SemBERT、MobileBERT、TinyBERT和CamemBERT的共同点是什么？答案并不是“ BERT”????。而是“自注意力”...
图解注意力机制
truth_01的博客
09-17 3120
数十年以来，统计机器翻译（Statistical Machine Translation）在翻译模型中占统治地位，直到出现神经机器翻译（Neural Machine Translate,NMT）。NMT是一种新兴机器翻译方法，意图构建和训练一种大型神经网络，输入原语言文本（source），输出目标翻译文本（target）。 NMT最初是由Kalchbrenner and Blunsom(2013...
深度学习笔记：机器翻译详解(注意力机制+Seq2seq&Transformer)
深度学习笔记 - 机器翻译入门：注意力机制与Seq2seq模型及Transformer 机器翻译是一种自然语言处理任务，目标是将一段文本从一种语言自动转换成另一种语言，利用神经网络技术解决这一问题，即神经机器翻译（NMT）。...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值