softmax的loss和gradient推导过程

最新推荐文章于 2024-03-18 16:08:35 发布
最新推荐文章于 2024-03-18 16:08:35 发布
阅读量5.6k 收藏 12
点赞数 6
分类专栏： 机器学习 文章标签： softmax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silent_crown/article/details/78087024
版权
本文详细介绍了softmax的损失(loss)计算和梯度(grad)推导过程，包括naive loop和vectorization的实现方式。博主分享了在cs231n课程作业中的学习体验，探讨了对正确分类和错误分类的得分如何影响梯度，并提供了相应的Python代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

softmax的loss和gradient推导过程

  相信搞deeplearning的各位大牛都很熟悉softmax了，用来对得分矩阵做归一化得到概率的一种分类手段，我这两天在做cs231n的作业，新手上路，只作为自己的学习足迹记录，还望各位大佬多多包涵。

  • 简单介绍
  • Softmax的loss计算
  • Softmax的grad计算
  • naive loop
  • vectorization

简单介绍

每个样本的loss

  这个公式是大家非常熟悉的，其实就是对于神经网络最后一层的结果进行指数概率的归一化，其中Li求得的是对于每个样本而言，它在所有类别中，被分类位正确的概率，syi代表样本被正确分类的评分，sj代表样本被分类为j的评分。 其实对于loss的求解很简单，主要的难度就在于对于梯度的求解。

loss的计算

  根据上面的定义其实很容易计算loss,把所有样本i的Li加起来就是最终的结果，需要注意的是L的维度，和分数矩阵相同，最后再计算的时候用numpy.sum函数求矩阵的所有元素之和即可。另外需要考虑的就是归一化和正则化，归一化除以训练样本数就行。做作业的时候说的是用L2正则化，也就是把regularization_rate*W*W加在loss后面即可。

这里写图片描述

梯度grad的计算

最低0.47元/天 解锁文章
softmax类loss
knightprin的博客
04-02 198
本篇讲述softmax类loss。 softmax, 即在最后一层输出，利用exp映射到0-1的范围中。 σi(z)=ezi∑j=1mezi, \sigma_i(z) = \frac{e^{z_i}}{\sum_{j=1}^{m}e^{z_i}}, σi​(z)=∑j=1m​ezi​ezi​​, 可知每层结点输出值的总和为1, 可模拟概率分布输出。 下面讲述交叉熵, (cross-entropy)...
softmax 损失函数与梯度推导
normol的博客
11-21 6371
softmax与svm很类似，经常用来做对比，svm的loss function对wx的输出s使用了hinge function，即max(0,-)，而softmax则是通过softmax function对输出s进行了概率解释，再通过cross entropy计算loss function。 将score映射到概率的softmax function：，其中，，j指代 i-th class。 ...
softmax loss
keep forward, go, go, go
07-04 1544
  softmax函数比较简单，可以用如下公式表示 同样，交叉熵的公式也很简单，如下： 其中 表示真实的概率（），而 表示预测的概率。 在深度学习中，这二者也经常被使用，softmax常被用来将输出映射到0~1的概率值，而cross entropy则常被用来作为分类模型的损失函数。 在使用的时候有什么需要注意的呢？ softmax存在下溢和上溢的问题，如果=c，那么softmax的值都...
『损失函数』softmax loss
sinat_39783664的博客
02-14 622
softmax loss介绍
Softmax损失函数
张洁的笔记
12-17 3083
上一篇博客讨论了SVM的损失函数，本篇博客主要来讨论softmax的损失函数以及两者之间的差别。
简明谈谈softmax loss
qq_41853758的博客
09-11 887
softmax loss概念如下： 首先L是损失。Sj是softmax的输出向量S的第j个值，前面已经介绍过了，表示的是这个样本属于第j个类别的概率。yj前面有个求和符号，j的范围也是1到类别数T，因此y是一个1*T的向量，里面的T个值，而且只有1个值是1，其他T-1个值都是0。那么哪个位置的值是1呢？答案是真实标签对应的位置的那个值是1，其他都是0。所以这个公式其实有一个更简单的形式： ...
softmax的严格数学推导与证明
它能够将一个K维的向量“压缩”为一个取值范围在(0,1)之间的K维向量，且所有元素的和为1，常用于输出层的概率分布计算。 ### 1.2 Softmax函数的应用领域 Softmax函数在各种机器学习领域中广泛应用，特别是在深度...
svm的loss和梯度推导及代码
silent_crown的博客
09-27 1万+
svm的loss和梯度推导及代码  这个是svm的计算方式的数学实现，相信大家应该已经很熟悉了，svm算法就是对于每一个样本，计算其他不正确分类与正确分类之间的差距，如果差距大于delta那就说明差距大，需要进行进一步优化，所以对于每个样本，把这些差距加起来，让他们尽量小，这个就是svm的核心思想。  loss就很简单了，还是直接求和。 而梯度，求导相对于softmax就简单了很多，没有复杂的指
深度学习Loss function之Softmax中的矩阵求导
面向对象编程
10-12 2452
最近在重温CS231n的Assignment，采用SGD进行参数更新，在back propagation计算gradient时经常涉及到矩阵运算的的“求导”，在许多代码中该步骤仅需进行一次矩阵乘法，对其实现背后的推导没有进行说明，自己只有照抄死记硬背，但是毕竟只有明白背后的原理才能举一反三，在遇到其他需要对矩阵进行求导的情况时能够自己解决，因此今天我试着推导了一下，并且希望记录下来方便以后查阅：
softmax损失函数
热门推荐
ture_dream的博客
02-09 3万+
cnn进行前向传播阶段，依次调用每个Layer的Forward函数，得到逐层的输出，最后一层与目标函数比较得到损失函数，计算误差更新值，通过反向传播逐层到达第一层，所有权值在反向传播结束时一起更新。 loss layer 是CNN的终点，接受两个Blob作为输入，其中一个是CNN的预测值，另一个是真实标签。损失层则将这两个输入进行一系列运算，得到当前网络的损失函数（Loss Function），
Softmax Loss(Cross Entropy) 与 MLE
qq_38385468的博客
10-29 411
Softmax Loss等价于在负对数方向上极小化MLE。 设总体(X,Y)~P，为概率密度分布，为从总体X中抽取的样本，对应于类，我们希望在给定样本条件下，使得最大，也即此时为属于各类的概率，为真实在各类上的概率，注意，此时为one-hot编码。所以，我们求其似然函数有: ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ ...
Normalized Softmax Loss
weixin_44742887的博客
06-12 1104
目录19-BMVC-Classification is a Strong Baseline for Deep Metric LearningSoftmax LossLayer Normalization类别平衡采样binary embeddings19-ICCV-SoftTriple Loss：Deep Metric Learning Without Triplet SamplingSoftTriple Loss1) we establish that classification is a strong
softmax loss及其变种
loveliuzz的博客
08-08 1174
softmax_loss梯度推导
大泽之国
11-18 1224
softmax_loss的真正名字应该是softmax cross entropy loss。因为softmax的定义是 f(zi)=softmax(zi)=ezi∑jezjf(z_i)=softmax(z_i)=\frac{e^{z_i}}{\sum_je^{z_j}}f(zi​)=softmax(zi​)=∑j​ezj​ezi​​， softmax loss的定义是 L=−1N∑i=0NLi=...
softmax loss 系列记录
Lyang-Never
03-18 460
一、前言 最近看人脸识别方面的内容，遇到了好多个损失函数，在这里先记录下，不作太深的挖掘。 二、主要内容 2.1、Softmax loss 其公式如下： 其中，N表示训练数据的数量。fjf_jfj​代表 class scores fff的第j个元素。也是全连接层的输出，所以fjf_jfj​可以写为： fj=WyiTxif_j = W^T_{y_i}x_i fj​=Wyi​T​xi​ 用模的形式...
一文看懂softmax loss
自己在学习过程中的总结
03-18 3430
本文针对softmax函数、交叉熵损失函数、softmax loss损失函数（重点）、带有temperature参数的softmax loss进行了详细的讲解，目的是更好的理解softmax loss。
人脸识别-损失函数：概述【Softmax loss→Center Loss→L-Softmax Loss→SphereFace→CosFace→ArcFace】
u013250861的博客
08-18 892
L=−j=1∑T​yj​log(Sj​)=−N1​i∑​log(∑j​ewjT​xi​ewyi​T​xi​​)LSj​Sjjyj​j1Ty1×TT11T−10110样本3真实类别为c1​，c5​loss3​=−∑yi,c​⋅log(pi,c​)​=−[y3,1​⋅log(p3,1​)+
softmax 、softmaxt loss、cross-entropy
zhanghenan123的博客
07-09 363
softmax 把输入的x值进行e(e的x次方)操作，使大的更大小的更小，然后再对输入值求概率，则大的概率也大，小大概率也小，具体操作入下图 softmax计算公式如下： Si=ei∑jej S_i = \dfrac{e^i}{\sum_j{e^j}} Si​=∑j​ejei​ softmax loss softmax loss就是经过softmax激活之后计算的loss值，公式如下 loss=∑yilogSi loss = \sum{y^ilogS_i} loss=∑yilogSi​ 其中yi为0或1
卷积神经网络系列之softmax loss对输入的求导推导
AI之路
03-20 2万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...
softmax和交叉熵求导
最新发布
03-08
### Softmax 函数与交叉熵损失函数的求导 #### 背景介绍 Softmax 函数通常用于多分类问题中的最后一层激活函数，它能够将输入转换成概率分布形式。而交叉熵损失函数则衡量预测的概率分布与真实标签之间的差异。 #### 数学推导 对于给定的一个样本 \( \mathbf{x} \)，其经过网络后的输出记作向量 \( z = (z_1, ..., z_K)^T \)，其中 K 是类别数量。应用 softmax 后得到的概率分布为： \[ p_i = \frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}}, i = 1,...,K \] 设真实的标签表示为独热编码的形式 \( y=(y_1,y_2,\ldots ,y_k)\in\left\{0,1\right\} ^k\) ，那么交叉熵损失可以定义如下: \[ L(\theta)= -\sum _i y_ilog(p_i)=-log(p_y), \text {where }p_y=p(y|x;\theta )=\prod_ip_i^{yi}\] 为了计算梯度下降所需的偏导数，考虑单个训练样例的情况下，针对第 k 类别的权重参数 w 的更新规则可由链式法则得出： \[ \begin{aligned} \nabla_wL &= (\partial/\partial w)L \\ &= (\partial /\partial p_k)(-\ln p_k)\cdot(\partial / \partial z_k)p_k\cdot(\partial/ \partial w)z_k\\ &=(-1/p_k)\times(e^{-z_k}/S)\times x\\ &=-(x/S)e^{-z_k}\\ &= -(x/S)p_ke^{-z_k}(1-p_k)/p_k\\ &= -xp_k(1-p_k) \end{aligned}[^1]\] 这里 S 表示分母部分即所有指数项之和；\( x \)代表当前特征向量。当处理多个类时，则需累加各个类对应的贡献值来获得最终的结果。 #### 实现细节 在实际编程实现中，为了避免数值溢出或者下溢的情况发生，在计算过程中会采用一些技巧性的变换方法。比如先减去最大值再做 exp 运算，从而保证后续运算的安全性和稳定性。 ```python import numpy as np def stable_softmax(z): """Compute the softmax of vector z in a numerically stable way.""" shift_z = z - np.max(z) exp_scores = np.exp(shift_z) return exp_scores / np.sum(exp_scores) def compute_loss_and_gradient(scores, labels): """ Compute cross-entropy loss and gradients. Args: scores: A matrix containing raw predictions from model. Shape should be NxD where D is num_classes. labels: True label indices for each example. Length must match N. Returns: Tuple with scalar representing average CE loss across all samples, plus gradient wrt input logits `scores`. """ n_samples = scores.shape[0] probs = stable_softmax(scores) log_likelihoods = -np.log(probs[np.arange(n_samples),labels]) avg_ce_loss = np.mean(log_likelihoods) dscores = probs.copy() dscores[np.arange(n_samples),labels] -= 1 grad_avg = dscores/n_samples return avg_ce_loss,grad_avg ``` 上述代码实现了稳定版的 softmax 计算以及相应的交叉熵损失及其反向传播所需的一阶导数矩阵。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值