Softmax代价函数求导过程

最新推荐文章于 2025-03-17 20:33:28 发布
最新推荐文章于 2025-03-17 20:33:28 发布
阅读量2.7k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu_zheng87/article/details/52702488
版权
本文探讨了Softmax回归的Cost Function，并详细解析了其求导过程。介绍了Softmax函数中，输入x对应类别j的概率表示，以及对参数θj的偏导数计算。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Cost Function

参考UFLDL的Softmax回归，SoftMax回归的的损失函数形为：

J(θ)=−1N∑i=1m∑j=1k⎛⎝I(y(i)=k)logeθTjx(i)∑kl=1eθTjx(i)⎞⎠(1.1)

有：

J(θ)==−1N∑i=1m∑j=1k(I(y(i)=k)(logeθTjx(i)−log∑
最低0.47元/天 解锁文章
liu_zheng87
关注
看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）
小赵的博客
08-17 2682
本文专门讲解softmax算法的代价函数求导的数学推导过程，如果你也喜欢机器学习算法，也希望理解其中的细节，只需要一点微积分基础，进来看吧
softmax的log似然代价函数（公式求导）
热门推荐
Arthur-Chen的专栏
04-02 7万+
在人工神经网络（ANN）中，softmax通常被用作输出层的激活函数。这不仅是因为它的效果好，而且因为它使得ANN的输出值更易于理解。同时，它配合log似然代价函数，其训练效果也要比采用二次代价函数的方式好。
【深度学习基础】第二十四课：softmax函数的导数
最新发布
qq_34222839的博客
03-17 997
【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。
softmax及函数求导
ywm_up
09-22 7277
softmax 1. 概念 softmax 的核心在于 soft，而 soft 有软的含义，与之相对的是 hard 硬。很多场景中需要我们找出数组所有元素中值最大的元素，是指上都是求的 hardmax。 softmax 定义： softmax(zi)=ezi∑j=1nezj softmax(z_i) = \frac{e^{z_i}}{\sum^n_{j=1}e^{z_j}} softmax(zi​)=∑j=1n​ezj​ezi​​ 其中，ziz_izi​ 为第i个结点的输出值，n为输出结点的个数，即分类的类
Softmax函数求导
I good vegetable a!
11-12 4107
来源：https://blog.csdn.net/zt_1995/article/details/62227603 其实整个推导，上面这个图片已经介绍得十分清楚了，但是仍有很多小步骤被省略掉了，我会补上详细的softmax求导的过程： ...
softmax函数求导
Able的博客
04-27 553
softmax函数简写为Si=ei∑jejS_i=\frac{e^i} {\sum_j e^j}Si​=∑j​ejei​ 交叉熵损失函数L=−∑ktkln(y=k)L=-\sum_k t_kln(y=k)L=−∑k​tk​ln(y=k)。其中目标被的tkt_ktk​为1，其余类的tkt_ktk​为0. 当预测为第i个时，可以认为ti=1t_i=1ti​=1，yiy_iyi​表示softmax值。 ...
Softmax函数交叉熵及其求导
Hansry的博客
04-14 1606
1. 简介 SoftmaxSoftmaxSoftmax 函数 SoftmaxSoftmaxSoftmax 函数在神经网络分类是十分常用的函数，如下所示，在神经元output layer中，可以输出一个R4R4R^{4} 维度的向量，来进行分类，例如输出层为向量 O=[0.2,0.1,0.4,0.3]O=[0.2,0.1,0.4,0.3]O=[ 0.2,0.1,0.4,0.3 ], 可根据向量中...
Softmax和关于它的交叉熵损失函数详细求导过程
CharlesOyfz的博客
06-09 1162
首先，先看什么是Softmax？ Softmax用于多分类中，将多个输入，映射为多个输出，且输出值都位于（0,1）之间，j假设向量,则Softmax（a）如下： 而要了解Softmax函数的导数，还需要知道什么是雅克比矩阵： 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。若是一个从n维欧氏空间映射到到m维欧氏空间的函数，即 ,则f(x)对x的偏导数可以组成一个m*n(m行n列)的矩阵...
第五十章 解读交叉熵损失函数的求导(sigmoid和softmax)
专注于人工智能学习，总结
12-22 1191
与平方损失函数相比较，由于学习速率可以被输出误差所控制的缘故，交叉熵能在梯度下降时避免均方误差损失函数学习速率降低的问题，有着更为出色的效果。除此之外，由于交叉熵的计算涉及到各个类别的概率，所以说起交叉熵几乎与sigmoid/softmax函数形影不离，这些我们都会在下文中一一印证。交叉熵，顾名思义，取的是两者交叉的熵值；而在机器学习中的所谓两者，自然是真实分布（或实际输出概率）与预测分布（或期望输出概率），通过熵值计算的方法来刻画两者距离，可以评估两个概率分布（或特征工程里的两个特征变量）的相似度。
关于softmax 函数求导
activeforcus的专栏
06-21 1292
Derivative of Softmax loss function http://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function
【深度学习】softmax 函数求导
gaocui883的博客
04-22 430
def _bwd(self,dLdy,X): dX = [] for dy,x in zip(dLdy, X): dxi = [] for dyi, xi in zip(*np.atleast_2d(dy, x)): # 用xi 计算yi. # 梯度：当i=j : yj - yj yj， 当i \= j : -yj yj # dyi,xi 都是矩阵，1 n_o..
softmax 目标函数及导数
05-04
sofmtax前向传播及反向传播过程，后续只需通过外部优化算法进行迭代计算即可。
softmax求导
HappinessSourceL的博客
07-14 449
https://zhuanlan.zhihu.com/p/25723112 这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ 一、softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 更形象的如下图表示： softmax直白来说就是将原来输出是3,1,-3通过softmax函数一
Softmax求导
亲亲Friends的博客
04-22 774
softmax的方程为： p=softmax(z) where pi=ezi∑j=1kezjfor i=1,⋯ ,k. \boldsymbol{p}=\text{softmax}(\boldsymbol{z})\, \text{where}\, p_i=\frac{e^{z_i}}{\sum^k_{j=1}e^{z_j}} \text{for}\, i=1,\cdots,k . p=softmax(z)wherepi​=∑j=1k​ezj​ezi​​fori=1,⋯,k. 上式中p\boldsymbol{
卷积神经网络系列之softmax loss对输入的求导推导
AI之路
03-20 2万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...
softmax函数以及相关求导过程
akon_wong_hkbu的博客
10-19 605
Softmax函数及其导数
cassiePython的专栏
04-26 4万+
Softmax函数及其导数本文翻译自The Softmax function and its derivative基础概念Softmax函数的输入是N维的随机真值向量，输出是另一个N维的真值向量， 且值的范围是(0,1)(0,1)，和为1.0。即映射：S(a)=RN→RNS(\textbf{a})=\mathbb{R}^N\rightarrow \mathbb{R}^N： S(a):⎡⎣⎢⎢⎢a
softmax损失函数求导
02-18
### Softmax 损失函数的导数推导 对于多分类问题中的Softmax损失函数，通常采用的是交叉熵作为损失函数。设模型输出为向量 \(\mathbf{z}\)，经过Softmax变换后的概率分布表示为\(\mathbf{\hat{y}}\)，而真实的标签one-hot编码形式记作\(\mathbf{y}\)。 #### 软Max函数定义 给定输入向量 \(\mathbf{z}=(z_1, z_2,...,z_n)\)，Softmax 函数可以被定义如下： \[ \sigma(z_i)=\frac{e^{z_i}}{\sum_{j=1}^{n}{e^{z_j}}} \] 这使得每一个分量都被映射到(0,1)区间内，并且所有分量之和等于1[^1]。 #### 交叉熵损失函数表达式 针对单个样本而言，其对应的交叉熵损失可写作: \[ L=-\sum_k y_k log (\hat{y}_k ) \] 其中 \(y_k\) 是真实类别下标的指示变量（即只有当预测类别的索引与实际相符时才取值为1），\(log(\hat{y}_k)\) 则是对该位置上通过Softmax转换得到的概率取自然对数的结果。 #### 导数推导过程 为了简化说明，在此假设只有一个训练样例的情况下考虑偏导数 \(\partial L / \partial z_i\) 的情况。根据链式法则有： \[ \frac{\partial L } {\partial z_i}= \sum _ { k }\left[\frac{\partial L } {\partial \hat{y}_{k }} * \frac{\partial \hat{y}_{k }} {\partial z_i}\right]\] 由于仅在第i项处存在非零贡献，因此上述方程进一步化简为： \[ \frac{\partial L } {\partial z_i}= -\frac{{y_i}}{{\hat{y}_i}}*\frac{\partial \hat{y}_i}{\partial z_i}-\sum_{j≠i}\frac{{y_j}}{{\hat{y}_j}}* \frac{\partial \hat{y}_j}{\partial z_i}\] 利用Softmax性质可知： - 当 \( j=i \): \[ \frac{\partial \hat{y}_i}{\partial z_i}=\hat{y}_i (1-\hat{y}_i)\] - 对于其他所有的 \( j ≠ i \): \[ \frac{\partial \hat{y}_j}{\partial z_i}=-\hat{y}_i \cdot \hat{y}_j \] 最终得出结论： \[ \frac{\partial L } {\partial z_i} = \hat{y}_i-y_i [^2]\] 这意味着对于任意维度上的梯度都可以简单地由Softmax输出减去目标值得到。 ```python def softmax_grad(s): """ 计算softmax函数关于输入s的雅克比矩阵 参数: s -- 输入数组 返回: jacobi_matrix -- 雅克比矩阵 """ # 获取softmax输出 sm = np.exp(s)/np.sum(np.exp(s)) # 初始化雅克比矩阵 n_features = len(sm) J = np.zeros((n_features,n_features)) for i in range(n_features): for j in range(n_features): if i==j: J[i][j]=sm[i]*(1-sm[j]) else: J[i][j]=-sm[i]*sm[j] return J def cross_entropy_loss_gradient(y_true,y_pred): """ 计算交叉熵损失相对于网络输出的梯度 参数: y_true -- 真实标签 onehot 编码 y_pred -- 预测结果 经过softmax处理过的概率分布 返回: gradient -- 损失函数相对于每个神经元输出的梯度 """ return -(y_true/y_pred)+1*(1-y_true)/(1-y_pred) ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值