softmax的导数

最新推荐文章于 2024-03-31 15:41:05 发布
最新推荐文章于 2024-03-31 15:41:05 发布
阅读量633 收藏
点赞数 1
分类专栏： 有趣的数学 文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/entropyDJ/article/details/103656624
版权

softmax的原函数为：
S ( x i ) = e x i e x 0 + e x 1 + . . . + e x n = e x i ∑ j = 0 n e x j S(x_i)=\frac{e^{x_i}}{e^{x_0}+e^{x_1}+...+e^{x_n}} =\frac{e^{x_i}}{\sum_{j=0}^{n}e^{x_j}} S(xi​)=ex0​+ex1​+...+exn​exi​​=∑j=0n​exj​exi​​
和普通的函数有点不太一样，它是一个输入输出均为序列的映射，每一个输入对应每一个输出都有贡献，对其求导可以看作是多元函数求偏导数的过程。如下所示：
[ x 0 x 1 x 2 . . . x n ] = > S ( x i ) = > [ e x 0 e x 0 + e x 1 + . . . + e x n e x 1 e x 0 + e x 1 + . . . + e x n e x 2 e x 0 + e x 1 + . . . + e x n . . . e x n e x 0 + e x 1 + . . . + e x n ] = [ S ( x 0 ) S ( x 1 ) S ( x 2 ) . . . S ( x n ) ] \left[ \begin{matrix} x_0\\x_1\\x_2\\.\\.\\.\\x_n \end{matrix} \right]=>S(x_i)=> \left[ \begin{matrix} \frac{e^{x_0}}{e^{x_0}+e^{x_1}+...+e^{x_n}}\\ \frac{e^{x_1}}{e^{x_0}+e^{x_1}+...+e^{x_n}}\\ \frac{e^{x_2}}{e^{x_0}+e^{x_1}+...+e^{x_n}}\\ .\\.\\.\\ \frac{e^{x_n}}{e^{x_0}+e^{x_1}+...+e^{x_n}}\\ \end{matrix} \right]= \left[ \begin{matrix} S(x_0)\\S(x_1)\\S(x_2)\\.\\.\\.\\S(x_n) \end{matrix} \right] ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡​x0​x1​x2​...xn​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤​=>S(xi​)=>⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡​ex0​+ex1​+...+exn​ex0​​ex0​+ex1​+...+exn​ex1​​ex0​+ex1​

最低0.47元/天 解锁文章
笺简检渐
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Softmax求导
亲亲Friends的博客
04-22 645
softmax的方程为： p=softmax(z) where pi=ezi∑j=1kezjfor i=1,⋯ ,k. \boldsymbol{p}=\text{softmax}(\boldsymbol{z})\, \text{where}\, p_i=\frac{e^{z_i}}{\sum^k_{j=1}e^{z_j}} \text{for}\, i=1,\cdots,k . p=softmax(z)wherepi​=∑j=1k​ezj​ezi​​fori=1,⋯,k. 上式中p\boldsymbol{
softmax及函数求导
ywm_up
09-22 6732
softmax 1. 概念 softmax 的核心在于 soft，而 soft 有软的含义，与之相对的是 hard 硬。很多场景中需要我们找出数组所有元素中值最大的元素，是指上都是求的 hardmax。 softmax 定义： softmax(zi)=ezi∑j=1nezj softmax(z_i) = \frac{e^{z_i}}{\sum^n_{j=1}e^{z_j}} softmax(zi​)=∑j=1n​ezj​ezi​​ 其中，ziz_izi​ 为第i个结点的输出值，n为输出结点的个数，即分类的类
softmax详细的梯度求导
xxuffei的博客
05-09 1万+
参考原文:https://blog.csdn.net/wfei101/article/details/80807749 https://blog.csdn.net/fsdfasfawre/article/details/80586123 本文通过一个简单的例子来看softmax的梯度求导过程. 1 softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可...
softmax求导
fjiafu2的博客
02-25 191
a+ba+ba+b ab\frac{a}{b}ba​ xnx^nxn log⁡ab\log_a^blogab​ xix^ixi 基础概念 Softmax函数的输入是N维的随机真值向量，输出是另一个N维的真值向量， 且值的范围是(0,1)，和为1.0。即映射：S(a)=RN\mathbb{R}^{N}RN→RN\mathbb{R}^{N}RN： S(a):[a1a2…aN]→[S1S2⋯SN]S(\...
【深度学习】：超详细的Softmax求导
bqw的博客
10-18 1万+
softmax 函数以及相关求导过程+交叉熵（Cross entropy）
ytusdc的博客
06-15 6581
参考文章（需要看）： 2简单的交叉熵损失函数，你真的懂了吗？:https://blog.csdn.net/red_stone1/article/details/80735068 一、softmax函数 softmax(柔性最大值)函数，一般在神经网络中， softmax用于多分类过程中。它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类。softmax函...
softmax的交叉熵导数推导.docx
05-16
在机器学习领域，softmax函数和交叉熵损失是两个非常关键的概念，它们在多类分类问题中扮演着重要角色。softmax函数常被用作多分类任务的输出层，它将神经网络的原始输出转换为概率分布，而交叉熵损失则作为评估模型...
softmax 目标函数及导数
05-04
sofmtax前向传播及反向传播过程，后续只需通过外部优化算法进行迭代计算即可。
Softmax函数原理及Python实现过程解析
09-16
Softmax函数是机器学习和深度学习领域中一种重要的激活函数，尤其在多分类问题中扮演着关键角色。它能够将一组实数值转化为概率分布，确保每个类别的概率和为1，使得模型的输出更加符合实际场景的需求。 ## Softmax...
softmax回归（Matlab）
02-08
5. **反向传播**：根据损失函数对模型参数求梯度，这涉及链式法则和softmax函数的导数计算。 6. **优化过程**：使用梯度下降或其他优化算法更新模型参数，以减小损失。这可能包括批量梯度下降、随机梯度下降或者更...
softmax多分类.rar
03-21
softmax函数在机器学习，特别是深度学习领域中扮演着至关重要的角色，主要...在反向传播时，softmax的导数也会被用来更新模型的参数。因此，深入理解softmax的数学性质和其在多分类中的作用是提升模型性能的关键步骤。
一分钟理解softmax函数（超简单）
热门推荐
L.Z.的博客
11-28 38万+
做过多分类任务的同学一定都知道softmax函数。softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 下面为大家解释一下为什么softmax是这种形式。 首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。 softmax就是将在负无穷到正无...
softmax函数
最新发布
这个函数可导的博客
03-31 1877
本文先介绍了softmax的函数公式，并详细推导了softmax函数公式的求导过程，然后说明了softmax的溢出问题，并探讨了解决方法，最后提及了softmax函数在多分类问题中的应用。
SignReLU激活函数
weixin_38190702的博客
06-25 338
SoftReLU激活函数简介
Softmax函数详解以及求导过程
猫敷雪
03-27 2727
这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 Si=ei∑jejS_{i}=\frac{e^{i}}{\sum_{j} e^{j}}S...
Softmax函数于导数及交叉熵系数导数的计算
小老袁和小百合
05-31 945
Softmax函数及导数softmax函数在各种神经网络中应用广泛，本文粗略推导softmax函数的导数计算过程，假设softmax函数为：                                                            如同名称所说，这是一个‘max’函数的‘soft’版本。区分于原版的max函数，这个函数将一组数转化为一组0到1之间的值，并且这些值的总和为...
简单易懂的softmax交叉熵损失函数求导
绝望的乐园
09-20 7万+
来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。 softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可...
Softmax 函数及其作用（含推导）
Nicoder的专栏
10-08 5万+
Softmax是一种形如下式的函数：P(i)=exp(θTix)∑Kk=iexp(θTkx) P(i)=\dfrac{exp(\theta_i^Tx)}{\sum_{k=i}^{K}exp(\theta_k^Tx)} , 其中θi\theta_i和x是列向量,θTix\theta_i^Tx可能被换成函数fi(x)f_i(x)通过这个函数，可以使得P(i)P(i)的范围在[0,1]之间。通常θ\the
卷积神经网络系列之softmax loss对输入的求导推导
AI之路
03-20 2万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...
python softmax 导数
06-06
Softmax函数是一种基于指数函数归一化的数学函数，它将实数向量映射到概率分布上。 给定一个N维的向量$x$，softmax函数的定义如下： $\text{softmax}(x)_i = \frac{e^{x_i}}{\sum_{j=1}^{N}e^{x_j}}$，其中$i\in \{1,2,...,N\}$。 在深度学习中，softmax函数常用于将多分类问题中的输出层输出映射为概率分布上，以便用于损失函数的计算、梯度计算等。 关于softmax函数的导数，可以使用链式法则求解。 首先，我们可以根据softmax函数的定义，表示$\text{softmax}(x)_i$来求其导数： $\text{softmax}(x)_i = \frac{e^{x_i}}{\sum_{j=1}^{N}e^{x_j}}$ $\frac{\partial{\text{softmax}(x)_i}}{\partial x_j} = \frac{\partial}{\partial x_j} \frac{e^{x_i}}{\sum_{k=1}^{N}e^{x_k}}$ 由于$j \neq i$，为了使得分子中不含$x_j$，我们需要对分子和分母分别进行变形： $\frac{e^{x_i}}{\sum_{k=1}^{N}e^{x_k}} = \frac{e^{x_i}}{e^{x_j} \cdot \sum_{k \neq j}e^{x_k} + e^{x_j} \cdot e^{x_j} + e^{x_j} \cdot \sum_{k>j}e^{x_k}} = \frac{e^{x_i-x_j}}{\sum_{k \neq j}e^{x_k-x_j} + 1 + \sum_{k>j}e^{x_k-x_j}}$ 然后，我们重新表示一下$\frac{\partial{\text{softmax}(x)_i}}{\partial x_j}$： $\frac{\partial}{\partial x_j} \frac{e^{x_i}}{\sum_{k=1}^{N}e^{x_k}} = \frac{\partial}{\partial x_j} \frac{e^{x_i-x_j}}{\sum_{k \neq j}e^{x_k-x_j} + 1 + \sum_{k>j}e^{x_k-x_j}}$ $= \frac{-e^{x_i-x_j}}{(\sum_{k \neq j}e^{x_k-x_j} + 1 + \sum_{k>j}e^{x_k-x_j})^2} \cdot (\frac{\partial}{\partial x_j}(\sum_{k \neq j}e^{x_k-x_j}) + \frac{\partial}{\partial x_j}(e^{x_j}) + \frac{\partial}{\partial x_j}(\sum_{k>j}e^{x_k-x_j}))$ $= \frac{-e^{x_i-x_j}}{(\sum_{k \neq j}e^{x_k-x_j} + 1 + \sum_{k>j}e^{x_k-x_j})^2} \cdot (-e^{x_j} + \sum_{k>j}e^{x_k-x_j})$ $= \frac{e^{x_i-x_j}}{\sum_{k=1}^{N}e^{x_k}} \cdot \frac{e^{x_j}}{\sum_{k=1}^{N}e^{x_k}}(\delta_{ij}-\frac{e^{x_i}}{\sum_{k=1}^{N}e^{x_k}})$ 其中，$\delta_{ij}$表示Kronecker delta，当$i=j$时取值为1，否则为0。 综上所述，我们可以得到： $\frac{\partial{\text{softmax}(x)_i}}{\partial x_j} = \frac{e^{x_i-x_j}}{\sum_{k=1}^{N}e^{x_k}} \cdot \frac{e^{x_j}}{\sum_{k=1}^{N}e^{x_k}}(\delta_{ij}-\frac{e^{x_i}}{\sum_{k=1}^{N}e^{x_k}})$ 这就是softmax函数的导数公式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值