注意力机制为什么使用根号dk进行放缩

已于 2023-06-06 15:56:08 修改
阅读量828 收藏
点赞数
分类专栏： 深度学习方法智能合约漏洞检测 文章标签： 深度学习
于 2022-05-23 17:40:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40222848/article/details/124931569
版权

归一化就是除以key的维度的开根，防止q、k经过softmax后值无限接近1

dk = d_model / head

fu_gui_mu_dan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C#实现窗体中的各个控件同比自动放缩大小
09-10
主要介绍了C#实现窗体中的各个控件同比自动放缩大小,实现方式主要是利用panel控件为主题,对于每个控件的大小位置和字体这几个属性进行记录,然后根据窗体改变的大小同时放缩,需要的朋友可以参考下
opencv放缩轮廓
09-02
使用opencv自带的resize函数放缩会使轮廓点丢失或变暗，本代码可以实现轮廓形状不变放缩
定义一个函数，输入为0-100之间的整数，输出为优、良、中、差、不及格的判断结果。
weixin_51343683的博客
10-15 1687
**-定义一个函数，输入为0-100之间的整数，输出为优、良、中、差、不及格的判断结果； -在main函数中，测试函数的功能。 # -*- coding:utf8 -*- def judge(chose): if 90 < chose <= 100:#不能用多个if，否则会多次输出 要用elif print("优") elif chose >= 80: print("良") elif chose >= 70:
self-attention为什么要除以根号d_k
热门推荐
tyler的博客
09-29 1万+
self-attention的公式为 attention(Q,K,V)=Softmax(QKdk)Vattention(Q,K,V)=Softmax( \frac{QK}{\sqrt{d_{k}}})Vattention(Q,K,V)=Softmax(dk​​QK​)V 个人理解，除以dk\sqrt{d_{k}}dk​​的原因有两点： dkd_{k}dk​是词向量/隐藏层的维度 1、首先要除以一个数，防止输入softmax的值过大，导致偏导数趋近于0； 2、选择根号d_k是因为可以使得q*k的结果满足.
python实现对图片进行旋转,放缩,裁剪的功能
09-18
今天小编就为大家分享一篇python实现对图片进行旋转,放缩,裁剪的功能，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Transformer基础
qq_40876059的博客
04-09 2633
Transformer基础介绍
BERT除以一个根号dk的作用
twt10512的博客
04-07 1271
= softmax(2a) from math import exp from matplotlib import pyplot as plt import numpy as np f = lambda x: exp(x * 2) / (exp(x) + exp(x) + exp(x * 2)) x = np.linspace(0, 100, 100) y_3 = [f(x_i) for x_i in x] plt.plot(x, y_3) plt.show() 为什么是根号dk...
Attention Is All You Need论文精读笔记
QIzikk的博客
02-13 790
Attention Is All You Need论文精读笔记 沐神讲解Transformer论文的相关笔记。 部分内容参考了Transformer论文逐段精读【论文精读】 - 哔哩哔哩 (bilibili.com) 相关博文： 《动手学深度学习》Seq2Seq、attention、transformer相关问题的总结与反思_QIzikk的博客-CSDN博客 《动手学深度学习》Seq2Seq代码可能出错的原因及适当分析_QIzikk的博客-CSDN博客 相关视频： Transformer论文逐段精读【论文精
注意力机制
qq_44717133的博客
03-23 550
QKt就是多个查询和多个物品向量来计算相似性 转置是便于相乘，得到一个相似性的实数值。自注意力机制将注意力机制包含在里面，qkv全在source部分。关注重点，找出重点，发现更多细节信息，抑制无用信息。没有用注意力的情况，各个权重一样，就不合理了。注意力机制的q\k\v是分布在两侧的。1、注意力机制和子注意力机制的区别。多头注意力机制的情况是多个单层的。p指的是不足的填充p,超出的不要。s指的是开始，e指的结束。不同的头提取的信息不同。使用注意力机制的情况。1指的是只有一个例子。
Image_Transform.rar_Pan sharpening_图像 放缩
09-21
基本的图像变化操作，包括锐化模糊，平移旋转，放缩，反色等
放缩_计算机图形学放缩_
09-30
计算机图形学 使用VS2012+openGL来实现图形图片的放缩等等
self-attention（自注意力机制）
Algorithm的博客
08-10 895
梯度指导着参数的更新方向，因此较大的梯度通常会导致较大的参数更新，从而加速训练。然而，如果梯度变得非常小，参数的更新幅度将会减缓，从而可能影响模型的训练速度和性能。“非常小的梯度区域” 指的是在优化算法中，模型参数的梯度值（即损失函数关于参数的变化率）非常接近于零的情况。点积后就会变得很大，这样就会将softmax函数推到具有非常小的梯度区域当中去，为了避免这种影响，所以除以。每一个都包含了全局信息，因为在计算过程中，这每一个b都是他自己的query和其他的key进行计算的得到的。由于他们都是公用一套。
注意力机制笔记
weixin_40222848的博客
10-03 192
除以根号dk，因为softmax时候，两者跨度比较大，会出现异常状况。QK相乘得到相似度A，AV相乘得到注意力值Z。
Transformer详解
David's Notes
10-14 2299
文章目录12. Transformer12.1 Introduction12.2 在 Seq2Seq 架构中计算 Attention12.2.1 计算 Key k:ik_{:i}k:i​ 和 Query q:jq_{:j}q:j​12.2.2 计算 α:j\alpha_{:j}α:j​12.2.3 计算 Value v:iv_{:i}v:i​12.2.4 千呼万唤始出来：计算 cjc_jcj​12.3 Attention without RNN12.3.1 Attention 层12.3.1.1 计算 En
AI百题--第十天突击题
GlassySky的博客
05-25 243
1. 请简述SVM 原理 支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的学习算法就是求解凸二次规划的最优化算法。 2. SVM 为什么采用间隔最大化 当训练数据线性可分时，存在无穷个分离超平面可以将两.
self-attention自注意力机制的结构详解（1）
qq_40379132的博客
06-02 9347
1、模型的输入：如果把输入看成一个向量，输出是数值或者类别。但是若输入是一系列的向量（序列），同时长度会改变，例如输入是一句英文，每个单词的长短不一，每个词汇对应一个向量，所以模型的输入是多个长短不一的向量集合，并且每个向量的大小都不一样。另外有语音信号（其中一段语音为一个向量）、图论（每个节点是一个向量）也能描述为一串向量。将单词表示为向量的方法，（1）可以利用one-hot encoding，向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，但是这种方式下每一个词之间没有关系
深度学习之自注意力机制（self-attention）（一）Transformer总结
m0_46521375的博客
10-07 467
还是以一个词为例，假设一个词生成了一组Q，K，V后，然后Q与K与其他的Q与K计算了内积后生成了权重，权重将v向量重构成了Z向量，没有多头注意力机制，Z向量就是这个词的最后表达，如果是多头注意力机制，实际上就会生成h个Z向量。然而不同的是第一个词的q是不可以考虑后面所有词的q的影响的，单词第二个词的q需要考虑前面第一个词的影响，所有的词要考虑前面的词的影响，但是不可以考虑后面的词影响，这就是mask机制。这个起始符号的嵌入向量通常是预训练的，它会作为Decoder的初始输入，用来表示生成序列的开始。
深度学习之基于Yolov7驾驶员疲劳检测系统
最新发布
2301_79809972的博客
05-17 926
一、项目背景随着汽车保有量的不断增加，驾驶安全问题日益受到人们的关注。驾驶员疲劳驾驶是导致交通事故的重要原因之一。因此，开发一种能够实时监测驾驶员疲劳状态并提前发出预警的系统对于保障驾驶安全具有重要意义。近年来，深度学习技术特别是目标检测技术在计算机视觉领域取得了显著进展，为驾驶员疲劳检测提供了新的解决方案。本项目旨在利用YOLOv7算法，开发一个基于深度学习的驾驶员疲劳检测系统。二、项目目标。
多头自注意力机制和多头注意力机制
12-12
多头注意力机制和多头自注意力机制都是Transformer模型中的重要组成部分，用于提取输入序列中的关键信息。其中，多头注意力机制用于处理输入序列和输出序列之间的关系，而多头自注意力机制则用于处理输入序列内部的关系。 多头注意力机制将输入序列分别作为Query、Key和Value进行线性变换，然后通过放缩点积注意力机制计算得到每个位置对其他位置的注意力权重，最后将Value按照这些权重进行加权求和得到输出序列。多头注意力机制之所以称为“多头”，是因为它将输入序列分为多个子空间，每个子空间都有自己的Query、Key和Value，最终将这些子空间的输出拼接起来得到最终的输出序列。这样做的好处是可以让模型在不同的表示子空间里学习到相关的信息。 多头自注意力机制与多头注意力机制类似，不同之处在于它只处理输入序列内部的关系。具体来说，它将输入序列作为Query、Key和Value进行线性变换，然后通过放缩点积注意力机制计算得到每个位置对其他位置的注意力权重，最后将Value按照这些权重进行加权求和得到输出序列。与多头注意力机制类似，多头自注意力机制也将输入序列分为多个子空间，每个子空间都有自己的Query、Key和Value，最终将这些子空间的输出拼接起来得到最终的输出序列。这样做的好处是可以让模型在不同的表示子空间里学习到输入序列内部的相关信息。 下面是一个多头自注意力机制的例子： ```python import torch import torch.nn as nn class MultiHeadSelfAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadSelfAttention, self).__init__() self.num_heads = num_heads self.d_model = d_model self.head_size = d_model // num_heads self.query = nn.Linear(d_model, d_model) self.key = nn.Linear(d_model, d_model) self.value = nn.Linear(d_model, d_model) self.fc = nn.Linear(d_model, d_model) def forward(self, x): batch_size, seq_len, d_model = x.size() # 将输入序列进行线性变换得到Query、Key和Value Q = self.query(x).view(batch_size, seq_len, self.num_heads, self.head_size).transpose(1, 2) K = self.key(x).view(batch_size, seq_len, self.num_heads, self.head_size).transpose(1, 2) V = self.value(x).view(batch_size, seq_len, self.num_heads, self.head_size).transpose(1, 2) # 计算注意力权重 scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(self.head_size, dtype=torch.float32)) attn_weights = torch.softmax(scores, dim=-1) # 加权求和得到输出序列 attn_output = torch.matmul(attn_weights, V) attn_output = attn_output.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) output = self.fc(attn_output) return output ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值