softmax的loss和gradient推导过程

最新推荐文章于 2024-03-18 16:08:35 发布
最新推荐文章于 2024-03-18 16:08:35 发布
阅读量5.6k 收藏 12
点赞数 6
分类专栏： 机器学习 文章标签： softmax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silent_crown/article/details/78087024
版权
本文详细介绍了softmax的损失(loss)计算和梯度(grad)推导过程，包括naive loop和vectorization的实现方式。博主分享了在cs231n课程作业中的学习体验，探讨了对正确分类和错误分类的得分如何影响梯度，并提供了相应的Python代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

softmax的loss和gradient推导过程

  相信搞deeplearning的各位大牛都很熟悉softmax了，用来对得分矩阵做归一化得到概率的一种分类手段，我这两天在做cs231n的作业，新手上路，只作为自己的学习足迹记录，还望各位大佬多多包涵。

  • 简单介绍
  • Softmax的loss计算
  • Softmax的grad计算
  • naive loop
  • vectorization

简单介绍

每个样本的loss

  这个公式是大家非常熟悉的，其实就是对于神经网络最后一层的结果进行指数概率的归一化，其中Li求得的是对于每个样本而言，它在所有类别中，被分类位正确的概率，syi代表样本被正确分类的评分，sj代表样本被分类为j的评分。 其实对于loss的求解很简单，主要的难度就在于对于梯度的求解。

loss的计算

  根据上面的定义其实很容易计算loss,把所有样本i的Li加起来就是最终的结果，需要注意的是L的维度，和分数矩阵相同，最后再计算的时候用numpy.sum函数求矩阵的所有元素之和即可。另外需要考虑的就是归一化和正则化，归一化除以训练样本数就行。做作业的时候说的是用L2正则化，也就是把regularization_rate*W*W加在loss后面即可。

这里写图片描述

梯度grad的计算

最低0.47元/天 解锁文章
softmax类loss
knightprin的博客
04-02 196
本篇讲述softmax类loss。 softmax, 即在最后一层输出，利用exp映射到0-1的范围中。 σi(z)=ezi∑j=1mezi, \sigma_i(z) = \frac{e^{z_i}}{\sum_{j=1}^{m}e^{z_i}}, σi​(z)=∑j=1m​ezi​ezi​​, 可知每层结点输出值的总和为1, 可模拟概率分布输出。 下面讲述交叉熵, (cross-entropy)...
softmax 损失函数与梯度推导
normol的博客
11-21 6358
softmax与svm很类似，经常用来做对比，svm的loss function对wx的输出s使用了hinge function，即max(0,-)，而softmax则是通过softmax function对输出s进行了概率解释，再通过cross entropy计算loss function。 将score映射到概率的softmax function：，其中，，j指代 i-th class。 ...
softmax loss
keep forward, go, go, go
07-04 1537
  softmax函数比较简单，可以用如下公式表示 同样，交叉熵的公式也很简单，如下： 其中 表示真实的概率（），而 表示预测的概率。 在深度学习中，这二者也经常被使用，softmax常被用来将输出映射到0~1的概率值，而cross entropy则常被用来作为分类模型的损失函数。 在使用的时候有什么需要注意的呢？ softmax存在下溢和上溢的问题，如果=c，那么softmax的值都...
『损失函数』softmax loss
sinat_39783664的博客
02-14 608
softmax loss介绍
Softmax损失函数
张洁的笔记
12-17 3079
上一篇博客讨论了SVM的损失函数，本篇博客主要来讨论softmax的损失函数以及两者之间的差别。
简明谈谈softmax loss
qq_41853758的博客
09-11 881
softmax loss概念如下： 首先L是损失。Sj是softmax的输出向量S的第j个值，前面已经介绍过了，表示的是这个样本属于第j个类别的概率。yj前面有个求和符号，j的范围也是1到类别数T，因此y是一个1*T的向量，里面的T个值，而且只有1个值是1，其他T-1个值都是0。那么哪个位置的值是1呢？答案是真实标签对应的位置的那个值是1，其他都是0。所以这个公式其实有一个更简单的形式： ...
softmax的严格数学推导与证明
它能够将一个K维的向量“压缩”为一个取值范围在(0,1)之间的K维向量，且所有元素的和为1，常用于输出层的概率分布计算。 ### 1.2 Softmax函数的应用领域 Softmax函数在各种机器学习领域中广泛应用，特别是在深度...
svm的loss和梯度推导及代码
silent_crown的博客
09-27 1万+
svm的loss和梯度推导及代码  这个是svm的计算方式的数学实现，相信大家应该已经很熟悉了，svm算法就是对于每一个样本，计算其他不正确分类与正确分类之间的差距，如果差距大于delta那就说明差距大，需要进行进一步优化，所以对于每个样本，把这些差距加起来，让他们尽量小，这个就是svm的核心思想。  loss就很简单了，还是直接求和。 而梯度，求导相对于softmax就简单了很多，没有复杂的指
深度学习Loss function之Softmax中的矩阵求导
面向对象编程
10-12 2438
最近在重温CS231n的Assignment，采用SGD进行参数更新，在back propagation计算gradient时经常涉及到矩阵运算的的“求导”，在许多代码中该步骤仅需进行一次矩阵乘法，对其实现背后的推导没有进行说明，自己只有照抄死记硬背，但是毕竟只有明白背后的原理才能举一反三，在遇到其他需要对矩阵进行求导的情况时能够自己解决，因此今天我试着推导了一下，并且希望记录下来方便以后查阅：
softmax损失函数
热门推荐
ture_dream的博客
02-09 3万+
cnn进行前向传播阶段，依次调用每个Layer的Forward函数，得到逐层的输出，最后一层与目标函数比较得到损失函数，计算误差更新值，通过反向传播逐层到达第一层，所有权值在反向传播结束时一起更新。 loss layer 是CNN的终点，接受两个Blob作为输入，其中一个是CNN的预测值，另一个是真实标签。损失层则将这两个输入进行一系列运算，得到当前网络的损失函数（Loss Function），
Softmax Loss(Cross Entropy) 与 MLE
qq_38385468的博客
10-29 408
Softmax Loss等价于在负对数方向上极小化MLE。 设总体(X,Y)~P，为概率密度分布，为从总体X中抽取的样本，对应于类，我们希望在给定样本条件下，使得最大，也即此时为属于各类的概率，为真实在各类上的概率，注意，此时为one-hot编码。所以，我们求其似然函数有: ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ ...
Normalized Softmax Loss
weixin_44742887的博客
06-12 1090
目录19-BMVC-Classification is a Strong Baseline for Deep Metric LearningSoftmax LossLayer Normalization类别平衡采样binary embeddings19-ICCV-SoftTriple Loss：Deep Metric Learning Without Triplet SamplingSoftTriple Loss1) we establish that classification is a strong
softmax loss及其变种
loveliuzz的博客
08-08 1168
softmax_loss梯度推导
大泽之国
11-18 1221
softmax_loss的真正名字应该是softmax cross entropy loss。因为softmax的定义是 f(zi)=softmax(zi)=ezi∑jezjf(z_i)=softmax(z_i)=\frac{e^{z_i}}{\sum_je^{z_j}}f(zi​)=softmax(zi​)=∑j​ezj​ezi​​， softmax loss的定义是 L=−1N∑i=0NLi=...
softmax loss 系列记录
Lyang-Never
03-18 455
一、前言 最近看人脸识别方面的内容，遇到了好多个损失函数，在这里先记录下，不作太深的挖掘。 二、主要内容 2.1、Softmax loss 其公式如下： 其中，N表示训练数据的数量。fjf_jfj​代表 class scores fff的第j个元素。也是全连接层的输出，所以fjf_jfj​可以写为： fj=WyiTxif_j = W^T_{y_i}x_i fj​=Wyi​T​xi​ 用模的形式...
一文看懂softmax loss
自己在学习过程中的总结
03-18 3315
本文针对softmax函数、交叉熵损失函数、softmax loss损失函数（重点）、带有temperature参数的softmax loss进行了详细的讲解，目的是更好的理解softmax loss。
人脸识别-损失函数：概述【Softmax loss→Center Loss→L-Softmax Loss→SphereFace→CosFace→ArcFace】
u013250861的博客
08-18 874
L=−j=1∑T​yj​log(Sj​)=−N1​i∑​log(∑j​ewjT​xi​ewyi​T​xi​​)LSj​Sjjyj​j1Ty1×TT11T−10110样本3真实类别为c1​，c5​loss3​=−∑yi,c​⋅log(pi,c​)​=−[y3,1​⋅log(p3,1​)+
softmax 、softmaxt loss、cross-entropy
zhanghenan123的博客
07-09 360
softmax 把输入的x值进行e(e的x次方)操作，使大的更大小的更小，然后再对输入值求概率，则大的概率也大，小大概率也小，具体操作入下图 softmax计算公式如下： Si=ei∑jej S_i = \dfrac{e^i}{\sum_j{e^j}} Si​=∑j​ejei​ softmax loss softmax loss就是经过softmax激活之后计算的loss值，公式如下 loss=∑yilogSi loss = \sum{y^ilogS_i} loss=∑yilogSi​ 其中yi为0或1
卷积神经网络系列之softmax loss对输入的求导推导
AI之路
03-20 2万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...
softmax梯度
最新发布
03-25
### Softmax 函数及其梯度计算 Softmax 函数是一种常用的激活函数，在多分类问题中用于将模型的输出转换为概率分布形式。其数学表达式如下： 对于输入向量 \( z \)，第 \( i \) 个类别的 softmax 输出可以表示为： \[ S(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} \] 其中，\( K \) 是类别总数。 #### 梯度计算公式 在机器学习优化过程中，通常需要计算损失函数相对于参数的梯度。假设交叉熵作为损失函数，则其关于 \( z_k \) 的偏导数可以通过链式法则推导得出。具体而言，当目标标签为独热编码时，softmax 函数的梯度公式为： \[ \frac{\partial L}{\partial z_k} = S(z_k) - y_k \] 这里，\( y_k \) 表示真实标签中的第 \( k \) 类值（通常是 0 或 1），而 \( S(z_k) \) 则是预测的概率[^1]。 上述公式的推导依赖于两个主要部分：一是 softmax 自身的性质；二是交叉熵损失函数的形式。完整的推导过程涉及对 softmax 和 log-likehood loss 进行逐项求导，并最终得到简化后的结果。 以下是实现 softmax 及其梯度计算的一个 Python 示例代码片段： ```python import numpy as np def softmax(x): """Compute the softmax of vector x.""" exp_x = np.exp(x - np.max(x)) # Subtract max for numerical stability return exp_x / exp_x.sum(axis=0) def cross_entropy_loss_gradient(logits, labels): """ Compute the gradient of the cross-entropy loss with respect to logits. Args: logits (numpy.ndarray): The raw output scores from a model (logits). labels (numpy.ndarray): One-hot encoded true class labels. Returns: numpy.ndarray: Gradient of the loss w.r.t. each logit. """ probs = softmax(logits) grad = probs - labels return grad # Example usage logits_example = np.array([2.0, 1.0, 0.1]) labels_example = np.array([1.0, 0.0, 0.0]) # True label is first class gradient = cross_entropy_loss_gradient(logits_example, labels_example) print(gradient) ``` 此代码展示了如何通过简单的矩阵运算完成 softmax 值以及对应梯度的计算。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值