transformers中的scale为什么需要除以维度的开方

已于 2024-06-16 13:52:30 修改
阅读量208 收藏
点赞数 1
文章标签： 人工智能 算法
于 2024-05-31 10:19:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41728178/article/details/139345521
版权

  • self-attention中的scale为什么需要除以维度的开方

    • 原因来自于后续需要经过softmax进行缩放，所以根据softmax函数的特性，其本质是将输入缩放到同一分布中，例如（0,1），其计算过程是先用以e为底的函数拉大，再缩小。

    • 当输入信息的维度 d 比较高，点积模型的值通常有比较大方差，从而导致 softmax 函数的梯度会比较小(有的很接近1,有的很接近0)，导致输出的结果会向原本数值接近1的偏移。

    • 数量级对softmax得到的分布影响非常大。在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。

    • 如果计算softmax的元素方差太大，将会导致softmax结果稀疏，进而导致梯度稀疏

lucky_append
关注
查看transformers模型对应的device的实战代码
weixin_43178406的博客
04-19 6万+
本文主要介绍了查看transformers模型对应的device的实战代码，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
transformers pipeline出现ConnectionResetError的解决方案
weixin_43178406的博客
11-27 5万+
本文主要介绍了transformers pipeline出现ConnectionResetError的解决方案，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
transformer中的attention为什么scaled
ltochange的博客
08-27 500
transformer中的attention为什么scaled 简单的说是为了上attention得到的权值更加均匀一点。在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。 详见 transformer中的attention为什么scaled 如果本身就想获得差距较大的attention值，可以不用scaled。例如在这个ner任务里面 ...
transformer中的attention为什么scaled?
深度学习与计算机视觉
04-26 590
链接：https://www.zhihu.com/question/339723385编辑：深度学习与计算机视觉声明：仅做学术分享，侵删论文中解释是：向量的点积结果会很大，将softmax...
[NLP]——Transformer中的attention为什么要做scale？
jokerxsy的博客
04-30 3856
前言 说起Transformer的self-attention，很容易想到下面的公式： Attention(Q,K,V)=softmax(QKT/dk)VAttention(Q,K,V) = softmax(QK^T/\sqrt{d_k})VAttention(Q,K,V)=softmax(QKT/dk​​)V 假设X是输入，分别经过WQW_QWQ​、WKW_KWK​和WVW_VWV​映射得到QQQ、KKK和VVV，【dkd_kdk​=Q.size(-1)=K.size(-1)】，通过QQQ和KKK的dot
Vision Transformer论文笔记
shang_bo_liang的博客
12-02 626
VIT Abstract 在视觉上，attention与卷积网络一起应用，所需的计算资源大大减少。并且能获得出色的结果。 Attention机制 本质：从关注全部到关注重点。 Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。人的视觉系统就是一种 Attention机制，将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。 优点： 参数少，模型复杂度跟CNN、RNN相比，复杂度更小，参数..
【深度学习】transformer中softmax为什么要scaled
littlemichelle
01-20 4110
论文中解释是：向量的点积结果会很大，将softmax函数push到梯度很小的区域，scaled会缓解这种现象。怎么理解将sotfmax函数push到梯度很小区域？还有为什么scaled是维度的根号，不是其他的数？ 答案：q，k向量点积后的结果数量级变大，经历过softmax函数的归一化之后，后续反向传播的过程中梯度会很小，造成梯度消失。进行scaled能够缓解这种情况。 Multi-head Attention为什么要做scaled - 卷王李狗蛋的文章 - 知乎 目录 为什么会梯度消失的原因？
基于transformers的开源Facebook中blenderbot训练中文聊天机器人python源码+使用说明.zip
12-15
基于transformers的开源Facebook中blenderbot训练中文聊天机器人python源码+使用说明.zip 安装支持库 pip3 install -r requirements.txt ## 训练步骤 1.python3 create_json.py 创建vocab.json文件 2.python3 train...
transformers加载模型时自动选择空闲的单个GPU的实战代码
weixin_43178406的博客
07-20 6万+
本文主要介绍了transformers加载模型时自动选择空闲GPU的实战代码，希望能对使用huggingface transformers的同学们有所帮助。 文章目录 1. 背景描述 2. 实战 2.1 安装Python库 2.2 实战代码
ValueError: Unrecognized configuration class ＜class transformers modules.AquilaChat2-34B-16K.config
热门推荐
weixin_43178406的博客
10-20 7万+
本文主要介绍了ValueError: Unrecognized configuration class to build an AutoTokenizer的解决方案，希望能对学习python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
论文笔记——Transformer
weixin_46092235的博客
02-08 215
论文笔记——Transformer
Transformer的本质图解代码细节全析
最新发布
Angelina_Jolie的博客
04-18 1128
尽管宇宙的熵在不断增加，生命体和智能体却能够通过学习在局部范围内实现减熵，即通过摄取和转换能量来增加内部的有序性。Transformer模型正是这样一种智能体，它通过学习数据中的模式和规律，提高了对序列数据的处理能力。本文详细介绍了Transformer模型的所有关键组成部分，并分析了其为什么这么实现，实现的原理是什么。同时每个部分都配有相应的代码实现和解释，希望您能够更深入地理解Transformer模型的工作原理。
Transformer详解
MCZ777的博客
09-13 2795
文章目录0. Transformer直观认识1. Positional Encoding2. Self Attention Mechanismself-attention矩阵运算Multi-Head Attention（多头注意力机制）Attention代码Padding Mask3.残差连接和Layer Normalization残差连接Layer Normalization4.Transformer Encoder整体架构5.Transformer Decoder整体架构Masked Self-Atte
【源码解读】Transformer的Scaled dot product部分详解
...
03-26 2020
def attention(query, key, value, mask=None, dropout=None): # shape:query=key=value---->[batch_size,8,max_length,64] d_k = query.size(-1) # k的纬度交换后为：[batch_size,8,64,max_length] # scores的纬度为:[batch_size,8,max_length,max_length]
transform三大属性之scale（缩放）
weixin_44167504的博客
09-05 4万+
transform三大属性之scale scale(数值)定义倍数缩放，>1放大，<1缩小 scaleX()通过x轴定义，仅水平方向缩放 scaleY()通过y轴定义，仅垂直方向缩放 scaleZ()通过z轴定义，定义3d缩放 transform: scale(2);放大两倍 transform: scaleX(2);水平方向放大两倍 transform: scaleY(2);垂直方向放大两倍 缩小同理。 ...
Transform scale 属性
weixin_44879787的博客
07-07 1万+
使用 CSS Transform scale 属性 CSS 属性transform里面的scale()函数，可以用来改变元素的显示比例。 下面的例子把页面的段落元素放大了 2 倍： p { transform:scale(2); } transform属性有很多函数，可以对元素进行调整大小、移动、旋转、翻转等操作。当使用伪类描述元素的指定状态如:hover时，transform属性可以方便的给元素添加交互。 下面是当用户悬停段落元素时，段落大小缩放到原始大小 1.1 倍的例子： <sty
BERT大火却不懂Transformer？读这一篇就够了
BigDataDigest的博客
01-08 1万+
大数据文摘与百度NLP联合出品编译：张驰、毅航、Conrad、龙心尘编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得STOA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了STOA效果。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attent...
Transformer入门教程（八）时间维度
什么是江湖?
12-11 2379
在这一回，我们来学习下Transformer中时间维度的设置，还记得我们在Transformer中新增维度的时候， 这里有常规维度和时间维度，可能是时间维度有些不一样吧，我们来看下 1.按照普通维度的方式来试一下 引入数据源 建维度的时候，选择那个Time， 然后，发布下看看，我这里试了下，貌似没什么问题
使用python transformers.BertTokenizer将中文文本转换为数字序列
04-08
可以使用以下代码将中文文本转换为数字序列： ``` from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') text = '这是一个测试句子' tokens = tokenizer.encode(text, add_special_tokens=True) print(tokens) ``` 输出结果类似于： ``` [101, 6821, 3221, 671, 4761, 3791, 102] ``` 其中，101和102是BertTokenizer默认添加的特殊标记，用于表示句子的开始和结束。其余数字表示文本中每个词语对应的编号。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值