Softmax代价函数求导过程

最新推荐文章于 2025-01-13 10:28:52 发布

liu_zheng87

最新推荐文章于 2025-01-13 10:28:52 发布

阅读量2.7k

点赞数

本文链接：https://blog.csdn.net/liu_zheng87/article/details/52702488

版权

本文探讨了Softmax回归的Cost Function，并详细解析了其求导过程。介绍了Softmax函数中，输入x对应类别j的概率表示，以及对参数θj的偏导数计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Cost Function

参考UFLDL的Softmax回归，SoftMax回归的的损失函数形为：

J (θ) = - 1 N \sum i = 1 m \sum j = 1 k ⎛ ⎝ I (y (i) = k) log e θ T j x ( i ) \sum k l = 1 e θ T j x ( i ) ⎞ ⎠ (1.1)

$J(\theta) = -\frac{1}{N}\sum_{i=1}^m\sum_{j=1}^k\left( I\left(y^{(i)} = k\right) \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{\theta_j^T x^{(i)}}} \tag{1.1}\right)$

有：

J (θ) = = - 1 N \sum i = 1 m \sum j = 1 k (I (y (i) = k) (log e θ T j x (i) - log \sum

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

liu_zheng87

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）

小赵的博客

08-17

2673

本文专门讲解softmax算法的代价函数求导的数学推导过程，如果你也喜欢机器学习算法，也希望理解其中的细节，只需要一点微积分基础，进来看吧

softmax的log似然代价函数（公式求导）

热门推荐

Arthur-Chen的专栏

04-02

6万+

在人工神经网络（ANN）中，softmax通常被用作输出层的激活函数。这不仅是因为它的效果好，而且因为它使得ANN的输出值更易于理解。同时，它配合log似然代价函数，其训练效果也要比采用二次代价函数的方式好。

4 条评论您还未登录，请先登录后发表或查看评论

LOAM代价函数求导

qq_34188490的博客

01-13

743

LOAM代价函数求导

softmax及函数求导

ywm_up

09-22

7247

softmax 1. 概念 softmax 的核心在于 soft，而 soft 有软的含义，与之相对的是 hard 硬。很多场景中需要我们找出数组所有元素中值最大的元素，是指上都是求的 hardmax。 softmax 定义： softmax(zi)=ezi∑j=1nezj softmax(z_i) = \frac{e^{z_i}}{\sum^n_{j=1}e^{z_j}} softmax(zi)=∑j=1nezjezi 其中，ziz_izi 为第i个结点的输出值，n为输出结点的个数，即分类的类

Softmax函数求导

I good vegetable a!

11-12

4099

来源：https://blog.csdn.net/zt_1995/article/details/62227603 其实整个推导，上面这个图片已经介绍得十分清楚了，但是仍有很多小步骤被省略掉了，我会补上详细的softmax求导的过程： ...

softmax函数求导

Able的博客

04-27

548

softmax函数简写为Si=ei∑jejS_i=\frac{e^i} {\sum_j e^j}Si=∑jejei 交叉熵损失函数L=−∑ktkln(y=k)L=-\sum_k t_kln(y=k)L=−∑ktkln(y=k)。其中目标被的tkt_ktk为1，其余类的tkt_ktk为0. 当预测为第i个时，可以认为ti=1t_i=1ti=1，yiy_iyi表示softmax值。 ...

Softmax函数交叉熵及其求导

Hansry的博客

04-14

1598

1. 简介 SoftmaxSoftmaxSoftmax 函数 SoftmaxSoftmaxSoftmax 函数在神经网络分类是十分常用的函数，如下所示，在神经元output layer中，可以输出一个R4R4R^{4} 维度的向量，来进行分类，例如输出层为向量 O=[0.2,0.1,0.4,0.3]O=[0.2,0.1,0.4,0.3]O=[ 0.2,0.1,0.4,0.3 ], 可根据向量中...

Softmax和关于它的交叉熵损失函数详细求导过程

CharlesOyfz的博客

06-09

1157

首先，先看什么是Softmax？ Softmax用于多分类中，将多个输入，映射为多个输出，且输出值都位于（0,1）之间，j假设向量,则Softmax（a）如下：而要了解Softmax函数的导数，还需要知道什么是雅克比矩阵：雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。若是一个从n维欧氏空间映射到到m维欧氏空间的函数，即 ,则f(x)对x的偏导数可以组成一个m*n(m行n列)的矩阵...

Softmax Regression损失函数的求导

mabel爱消消乐的博客

03-31

824

softmax regression 代价函数： J(θ)=−1m[∑i=1m∑j=1kI{y(i)=j}logeθjTX(i)∑l=1keθlTX(i)] J(\theta) = -\frac{1}{m}\left[\sum_{i=1}^{m}\sum_{j=1}^{k}I\{y^{(i)}=j\}log \frac{e^{{\theta_j^T}{X^{(i)}}}}{\sum_{l=1}...

关于softmax 函数求导

activeforcus的专栏

06-21

1291

Derivative of Softmax loss function http://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function

【深度学习】softmax 函数求导

gaocui883的博客

04-22

424

def _bwd(self,dLdy,X): dX = [] for dy,x in zip(dLdy, X): dxi = [] for dyi, xi in zip(*np.atleast_2d(dy, x)): # 用xi 计算yi. # 梯度：当i=j : yj - yj yj，当i \= j : -yj yj # dyi,xi 都是矩阵，1 n_o..

softmax 目标函数及导数

05-04

sofmtax前向传播及反向传播过程，后续只需通过外部优化算法进行迭代计算即可。

softmax求导

HappinessSourceL的博客

07-14

446

https://zhuanlan.zhihu.com/p/25723112 这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！一、softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是更形象的如下图表示： softmax直白来说就是将原来输出是3,1,-3通过softmax函数一

Softmax求导

亲亲Friends的博客

04-22

765

softmax的方程为： p=softmax(z) where pi=ezi∑j=1kezjfor i=1,⋯ ,k. \boldsymbol{p}=\text{softmax}(\boldsymbol{z})\, \text{where}\, p_i=\frac{e^{z_i}}{\sum^k_{j=1}e^{z_j}} \text{for}\, i=1,\cdots,k . p=softmax(z)wherepi=∑j=1kezjezifori=1,⋯,k. 上式中p\boldsymbol{

卷积神经网络系列之softmax loss对输入的求导推导

AI之路

03-20

2万+

我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...

softmax函数以及相关求导过程

akon_wong_hkbu的博客

10-19

603

Softmax函数及其导数

cassiePython的专栏

04-26

4万+

Softmax函数及其导数本文翻译自The Softmax function and its derivative基础概念Softmax函数的输入是N维的随机真值向量，输出是另一个N维的真值向量，且值的范围是(0,1)(0,1)，和为1.0。即映射：S(a)=RN→RNS(\textbf{a})=\mathbb{R}^N\rightarrow \mathbb{R}^N： S(a):⎡⎣⎢⎢⎢a

softmax损失函数求导