【深度学习】transformer中softmax为什么要scaled

已于 2022-01-20 16:09:42 修改
阅读量4.6k 收藏 21
点赞数 6
分类专栏： 推荐系统 深度学习 文章标签： 深度学习 人工智能
于 2022-01-20 15:49:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31866177/article/details/122602518
版权

论文中解释是：向量的点积结果会很大，将softmax函数push到梯度很小的区域，scaled会缓解这种现象。怎么理解将sotfmax函数push到梯度很小区域？还有为什么scaled是维度的根号，不是其他的数？

答案：q，k向量点积后的结果数量级变大，经历过softmax函数的归一化之后，后续反向传播的过程中梯度会很小，造成梯度消失。进行scaled能够缓解这种情况。

Multi-head Attention为什么要做scaled - 卷王李狗蛋的文章 - 知乎

目录

为什么会梯度消失的原因？

在self-attention中为什么要除以？

为什么要假设为均值为0，方差为1？

为什么在其他 softmax 的应用场景，不需要做 scaled？

为什么在分类层（最后一层），使用非 scaled 的 softmax？

注意力机制的softmax溢出怎么解决？

为什么会梯度消失的原因？

数量级对softmax得到的分布影响非常大。在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。

点积后的结果数量级大会导致反向传播梯度变小。造成梯度消失，参数更新困难。

当输入g(x)函数的logits的数量级很大时，g(x)输出的是一个非常接近one-hot的向量[0,0,...1,...0,0]。

在self-attention中为什么要除以\sqrt{d_k}？

方差越大也就说明，点积的数量级越大（以越大的概率取大值）。那么一个自然的做法就是把方差稳定到1，做法是将点积除以\sqrt{d_k}，将方差控制为1，也就有效地控制了前面提到的梯度消失的问题。

为什么要假设为均值为0，方差为1？

浅谈Transformer的初始化、参数化与标准化 - 科学空间|Scientific Spaces

在一般的教程中，推导初始化方法的思想是尽量让输入输出具有同样的均值和方差，通常会假设输入是均值为0、方差为1的随机向量，然后试图让输出的均值为0、方差为1。

初始化自然是随机采样的的，所以这里先介绍一下常用的采样分布。一般情况下，我们都是从指定均值和方差的随机分布中进行采样来初始化。其中常用的随机分布有三个：正态分布（Normal）、均匀分布（Uniform）和截尾正态分布（Truncated Normal）。

核心是让输入输出具有同样的均值和方差，保持相同的数据分布。挑正态分布可能因为常见，均值为0、方差为1。因为简单？

为什么在其他 softmax 的应用场景，不需要做 scaled？

transformer中的attention为什么scaled? - 小莲子的回答 - 知乎

为什么在分类层（最后一层），使用非 scaled 的 softmax？

因为木有两个随机变量相乘的情况，所以不存在点积后的结果数量级大会导致反向传播梯度变小！

注意力机制的softmax溢出怎么解决？

原文链接

transformer中的attention为什么scaled? - TniL的回答 - 知乎

transformer中的attention为什么scaled? - 小莲子的回答 - 知乎

浅谈Transformer的初始化、参数化与标准化 - 科学空间|Scientific Spaces

从零实现深度学习框架——Transformer从菜鸟到高手(一)
日积月累，天道酬勤
08-02 3127
图解Transformer理论+自己动手实现Transformer！
【深度学习|Transformer模型学习】transformer块为什么总是应用到语义分割网络中的解码器结构？有什么作用？你知道吗？
985小水博的摸鱼日常
12-21 772
【深度学习|Transformer模型学习】transformer块为什么总是应用到语义分割网络中的解码器结构？有什么作用？你知道吗？
Transformer可以不需要Softmax？Kakao提出了UFO-ViT，性能高，计算量还小
我爱计算机视觉
11-09 726
关注公众号，发现CV技术之美▊写在前面视觉Transformer已成为计算机视觉任务的重要模型之一。虽然它们优于之前的卷积神经网络，但其复杂度是与输入特征长度N呈二次关系。为了解决这个问...
为什么在进行softmax之前需要对attention进行scaled（为什么除以 d_k的平方根）
ytusdc的博客
11-29 7365
因此，d_k 的平方根被用于缩放（而非其他数值），因为，Q和K的矩阵乘积的均值本应该为0，方差本应该为1，这样会获得一个更平缓的softmax。另外一个需要注意的点为什么要除以根号dk，因为Q和K的内积结果，随着其维度变大，方差会变大，进而可能会出现很大的值，除以根号dk保证输出结果的不会出现过大值，这个在原论文中是有说明注解的。这样做是因为对于较大的深度值，点积的大小会增大，从而推动softmax函数往仅有很小的梯度的方向靠拢（分布集中在绝对值大的区域），导致了一种很硬的（hard）softmax。...
【Transformer优化】为什么可以用核函数替代softmax？
TIM的博客
03-02 889
总结一下，用核函数代替softmax的本质是通过数学上的技巧，将原本需要显式计算的大矩阵分解或近似为更低维度的操作，从而在保持模型表达能力的同时，显著降低计算和内存开销。问题就在于这个QK^T矩阵，当N很大时，存储和计算它都非常昂贵。：例如，Performer模型使用了基于正交随机特征的核（FAVOR+），将Q和K映射到高维空间，从而近似softmax的结果，而无需计算完整的注意力矩阵。
AI大模型算法工程师经典面试题—：为什么在softmax之前要对attention进行scaled（为什么除以 d_k的平方根）？”
2401_85325557的博客
09-22 1828
我们知道attention其实有很多种形式，而transformer论文中的attention是Scaled Dot-Porduct Attention 来计算keys和queries之间的关系。
2024AI大模型算法工程师经典面试题—：为什么在softmax之前要对attention进行scaled（为什么除以 d_k的平方根）？”
qkh1234567的博客
12-22 1084
因此， 的平方根被用于缩放（而非其他数值），因为，Q和K的矩阵乘积的均值本应该为0，方差本应该为1，这样会获得一个更平缓的softmax。• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。这里 是key向量的维度。从论文中可以看出，随着 的值变大，点积的大小会增大，从而推动softmax函数往仅有很小的梯度的方向靠拢（分布集中在绝对值大的区域），导致softmax 函数容易导致梯度消失问题。
Tranformer模型与Softmax函数
qq_43581545的博客
11-02 4092
SOFTMAX函数的FPGA设计与实现
深度学习transformer架构详细详解
weixin_61967363的博客
04-15 3304
详细解释了transformer架构相关知识
深度学习 | Transformer 基本原理
狂放不羁霸的博客
07-13 1728
1 为什么使用 Transformer？ 2 Attention 注意力机制 2.1 什么是 Q、K、V 矩阵？ 2.2 Attention Value 计算流程 2.3 Self-Attention 自注意力机制 2.3 Multi-Head Attention 多头注意力机制 3 Transformer 模型架构 3.1 Position
深度学习基础篇之Transformer网络
Fluentwater的博客
08-29 349
Transformer的大名已经听过很久了，一直没有找到机会详细了解该模型的原理及架构，趁着这次要复习的机会把transformer的原理彻底搞懂。本文参考了沐神在B站的论文讲解以及一些其他人的transformer文章。
Transformer动画讲解：Softmax函数
2301_78285120的博客
06-10 1735
暑期实习基本结束了，校招即将开启。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。提前准备才是完全之策。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。Transformer的Softmax函数：用于将原始注意力分数转换为输入标记的概率分布。这种分布将较高的注意力权重分配给更相关的标记，并将较低的权重分配给不太相关的标记。
Transformer的数学基础之Softmax
qq191513的博客
09-08 1507
​ 可以看出，三个值的差异已经不是一个量级了，输出的第1、2个值量级特别大，基本为0，第三个值为1。我们课看到输入的参数也才2倍、3倍的差别，而输出却是0，0，1。也就是说，在数量级较大时，​ 可以看出，这向量的三个值还是比较近的，输入是小微变化，而输出也是小微变化，符合我们要的归一化。​ 可以看出，尽管输入值差别不大，但是结果的差距速度拉大了。​ 可见，输入太大，会把结果变得十分陡峭，导致落在。的极端区域，趋于0或者1，而且在极端区域的。函数的梯度值趋于0，不利于模型学习。
Transformer模型-softmax的简明介绍：转为概率分布，马太效应
Ankie资深技术项目经理
04-03 2863
softmax：常用于神经网络的输出层，以将原始的输出值转化为概率分布，从而使得每个类别的概率值在0到1之间，并且所有类别的概率之和为1。这使得Softmax函数特别适用于多类分类问题，其中模型需要预测输入样本属于多个可能类别中的哪一个。
transformer中的attention为什么scaled
ltochange的博客
08-27 535
transformer中的attention为什么scaled 简单的说是为了上attention得到的权值更加均匀一点。在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。 详见 transformer中的attention为什么scaled 如果本身就想获得差距较大的attention值，可以不用scaled。例如在这个ner任务里面 ...
Transfomer原理softmax层，注意力机制，多头注意力机制
互联网知识分享
12-12 693
Softmax层是深度学习中常用的一种激活函数，它可以将一个含有任意实数的 K 维向量“压缩”到另一个 K 维实数向量中，使得每个元素的范围都在 0 到 1 之间，并且所有元素的和为 1。多头注意力机制的原理是通过使用多组注意力权重，每组权重都可以关注输入的不同部分，然后将不同组的注意力权重进行拼接或加权求和，以得到最终的注意力表示。多头注意力机制是注意力机制的一种扩展形式，它可以让模型同时关注输入的不同部分，并且学习到不同部分的表征。其中，z 是原始分数向量，K 是类别的数量，i 表示第 i 个类别。
Google的RFA：transformers的Softmax注意机制最新替代
deephub
03-01 5026
什么是注意力机制？为什么RFA比Softmax更好？ Google最近发布了一种新方法-Random Feature Attention-用来取代transformers中的softmax注意力机制，以实现相似或更好的性能，并显着改善时间和空间复杂度。 在此文章中，我们将探讨transformers的背景，什么是注意力机制，以及为什么RFA可以更好地替代softmax注意力机制。 我们将通过RFA的一些总结来结束本文章。 背景 目前，transformers是序列到序列机器学习模型的最佳模型。 它专门研究数
softmax应用
as394349658的博客
08-26 697
import tensorflow as tf labels = [[0, 0, 1], [0, 1, 0]] # one-hot标签 labels2 = [[0.4, 0.1, 0.5], [0.3, 0.3, 0.4]] # 非one-hot标签 labels3 = [2, 1] # sparse标签 logits = [[2, 0.5, 6], [0.1, 0, 3]] lo...
【Transformer】20、SOFT: Softmax-free Transformer with Linear Complexity
呆呆的猫的博客
12-13 3942
所以，本文作者提出了 softmax-free transformer, SOFT，在 self-attention 中移除了 softmax，使用高斯核函数来代替内积，能够通过低秩矩阵分解来近似得到 self-attention 矩阵。一般的 self-attention 都是计算规范化的 token 特征的内积计算得到，保持这种 softmax 操作对后面的线性化操作有些挑战。为了降低计算量，作者参考 Nystrom[38] 来实现低秩矩阵近似，可以不用计算全部的 self-attention。
softmax回归transformer
最新发布
03-16
### Transformer模型中Softmax的作用 在Transformer架构中，Softmax函数主要应用于注意力机制以及最终的分类任务。以下是其具体作用及其与Softmax回归的关系： #### 1. 注意力机制中的Softmax Transformer的核心在于自注意力机制(Self-Attention)，其中Softmax用于计算注意力权重。通过将查询(Query)、键(Key)和值(Value)矩阵相乘并缩放后，Softmax被用来规范化这些分数为概率分布[^2]。 ```python import torch import torch.nn.functional as F def scaled_dot_product_attention(query, key, value): scores = torch.matmul(query, key.transpose(-2, -1)) / torch.sqrt(torch.tensor(key.size(-1), dtype=torch.float)) attention_weights = F.softmax(scores, dim=-1) # 应用Softmax得到注意力权重 output = torch.matmul(attention_weights, value) return output, attention_weights ``` 这里的`F.softmax(scores, dim=-1)`确保了每个位置上的得分都被映射到0至1之间，并且所有位置的概率加起来等于1。这一步对于分配重要性权重至关重要，使得模型能够聚焦于最相关的部分[^3]。 #### 2. 输出层中的Softmax 在Transformer的最后一层，通常会有一个全连接网络(Fully Connected Layer)，它负责将隐藏状态映射到目标词汇表大小的维度上。随后，Softmax再次发挥作用，将这个高维向量转化为各个词对应的概率分布[^1]。 ```python logits = linear_layer(hidden_states) # 线性变换后的未归一化预测 probabilities = F.softmax(logits, dim=-1) # 转换为概率分布 ``` 此过程类似于传统的Softmax回归，在多类分类问题中提供了一个清晰的概率解释框架。不同之处在于，Transformer利用复杂的编码器-解码器结构生成更丰富的特征表示作为输入给Softmax。 #### 3. 防止梯度消失现象 当输入过大时，Softmax可能会导致输出接近极端值（即趋近于0或1），从而引起梯度消失问题。为了避免这种情况影响训练效果，实践中常采用一些技巧来稳定数值范围，比如减去最大值后再做指数运算等预处理操作。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值