softmax反向传播公式推导

最新推荐文章于 2023-09-11 22:20:50 发布
最新推荐文章于 2023-09-11 22:20:50 发布
阅读量1.8k 收藏 8
点赞数 4
分类专栏： 机器学习 文章标签： 机器学习 softmax 反向传播推导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41618978/article/details/99863264
版权
本文详细介绍了在深度学习中softmax算法的反向传播过程，重点在于推导损失函数L对z的导数dZ。通过链式法则，分别讨论了L对Z的导数以及Z对z的导数，特别分析了i=k和i≠k两种情况下的求解步骤，最终得出dZ的表达式。
摘要由CSDN通过智能技术生成

前言：最近在深度学习中，了解到多分类的softmax算法，且利用该算法在进行反向传播时除了损失函数与sigmoid的损失函数不一样，其他梯度递推基本一致。这里主要对softmax算法的反向传播求解dZ进行了公式推导。其他部分与sigmoid算法求解一致。

符号说明

                                                                               

  

                                     

 

最低0.47元/天 解锁文章
非常满意
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
超详细的softmax的反向传播梯度计算推导
weixin_43217928的博客
03-10 2653
Softmax及其求导正向传播求导 正向传播 为了方便理解，若输入，输出只有3个变量（下面的普通性情况不太理解的可以带入此特殊情况帮助理解）。 输入：输出层神经元 Z = [z1z_1z1​, z2z_2z2​, z3z_3z3​]，分类标签 Y = [y1,y2,y3y_1, y_2, y_3y1​,y2​,y3​]（Y是one-hot标签，只有一个yiy_iyi​值为1，其他全为0) 输出：...
RNN反向传播公式推导.pdf
10-06
RNN反向传播公式推导 本文档详细推导了 RNN 反向传播公式，涵盖了模型的前向传播、损失函数、反向传播更新公式的推导。首先，文档介绍了 RNN 模型的前向传播公式，包括输入层、隐层和输出层的计算公式。然后，文档...
Softmax详解及其反向传播过程推导
baidu_41848695的博客
08-28 5066
Softmax函数公式 先讨论上面所述Softmax中的关键部分Pyi，再讨论为什么用-log(Pyi) 传统的逻辑回归模型（Logistic Regression，LR）主要解决二分类题，Softmax则是逻辑回归模型在多分类问题上的推广。所以我们从分析LR模型入手 从LR二分类模型理论推出为什么可以使用softmax训练神经网络 1、LR线性模型公式 2、LR二分类理论依据 （1）logi...
基于计算图的Softmax层反向传播推导
ZyuHoiMing
10-30 916
0. 前言 经朋友推荐，近日阅读斋藤康毅先生编写的《深度学习入门 · 基于Python的理论与实现》，书本十分通俗易懂，在Chapter 5 —— 反向传播部分，作者以计算图方式给出了Sigmoid函数，全连接层的反向传播过程，但是在给出Softxmax层的反向传播推导过程的时候，将Softmax函数与交叉熵计算函数直接相连，视为同一个层次，并且给出这个层次的反向传播计算图推导，这篇文章主要关注于...
手动推导softmax神经网络反向传播求导过程——softmax前世今生系列(6)
AI量化交易实验室
07-23 3747
导读： softmax的前世今生系列是作者在学习NLP神经网络时，以softmax层为何能对文本进行分类、预测等问题为入手点，顺藤摸瓜进行的一系列研究学习。其中包含： 1.softmax函数的正推原理，softmax的代数和几何意义，softmax为什么能用作分类预测，softmax链式求导的过程。 2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。 3.结合信息熵理论...
手动推导softmax神经网络反向传播求导过程——神经网络之softmax(6)
石头的博客
05-09 1259
通过对本系列的学习，你可以全面的了解softmax的来龙去脉。如果你尚不了解神经网络，通过本系列的学习，你也可以学到神经网络反向传播的基本原理。学完本系列，基本神经网络原理就算式入门了，毕竟神经网络基本的网络类型就那几种，很多变种，有一通百通的特点。
公式推导(四)——Softmax的反向传播
weixin_44441131的博客
06-02 762
参考文献
softmax的交叉熵导数推导.docx
05-16
在机器学习领域，softmax函数和交叉熵损失是两个非常关键的概念，它们在多类分类问题中扮演着重要角色。softmax函数常被用作多...这个结果对于优化模型参数至关重要，因为它指导了反向传播过程中权重更新的方向和大小。
神经网络参数更新公式推导（二）.docx
08-20
该公式推导有助于理解 BP 反向传播算法和深度神经网络的参数优化过程，为设计新的深层网络打下基础。 一、深度神经网络的特点 深度神经网络一般采用的激活函数为 ReLU，而不是 Sigmoid 函数，并且没有了阈值，而在...
numpy实现神经网络反向传播算法的步骤
01-20
我们并没有采用Softmax 函数将网络输出概率值之和进行约束，而是直接利用均方差误差函数计算与One-hot 编码的真实标签之间的误差，所有的网络激活函数全部采用Sigmoid 函数，这些设计都是为了能直接利用梯度推导公式...
线性回归，逻辑回归与神经网络原理推导
11-19
线性回归，逻辑回归与神经网络原理推导：包括以下几点内容：1.线性回归的定义及求解方法的推导，线性回归与最小二乘关系，线性回归显著性判断；...4神经网络反向传播关系的推导，举例说明反向传播过程。
Softmax分类和两层神经网络以及反向传播的代码推导
青山渺渺
09-11 1760
在jupyter中写的代码，要import需要下载成为.py文件，import之后如果.py文件中的内容有了修改需要重新打开jupyter，很麻烦，现在在import之后加上以下代码，更改.py文件后就不需要重新打开jupyter了。将之前的数据构建整合成一个方法，注意这边的归一化操作是将每个特征减去对应的特征点最大值，这和softmax中一组得分减取改组得分的最大值不一样。读完这两篇对反向传播中的链式求导有了基础了解，下面就是一个二层神经网络的反向传播的推导过程（字丑），其中softmax部分的推导。
softmax及交叉熵损失的反向传递推导及实现
朗云星空
04-03 4165
一般网络最后一个线性层后面都会跟一个输出层，比如sigmoid,softmax等，其基本做法是将输出Zi取指数再归一化。下面记录一下softmax和交叉熵的反向传递推导。参考博文：https://blog.csdn.net/u014313009/article/details/51045303下面做一个摘录：1. softmax函数及其求导        softmax的函数公式如下：      ...
从头理解softmax，笔记
wakojosin的博客
02-26 4055
损失函数指数损失函数（Adaboost）平方差损失函数：yolo交叉熵损失函数：softmaxloss线性分类:y=w0x0+w1x1+…+wnxn=w转置x激活函数sigmoid函数：（作用是为了引入非线性因素，提高非线性分类能力）。得到Logistics假设函数：，非线性二分类。对于输入x分类结果为类别1和类别0的概率分别为: P(y = 1 | x;θ)= hθ(x)P(y = 0 | x;...
Softmax公式及梯度计算
热门推荐
阿辉的博客
07-11 1万+
softmax是一个多分类器，可以计算预测对象属于各个类别的概率。 公式 yi=S(z)i=ezi∑j=1Cezj，i=1,...,Cy_i=S(\boldsymbol{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{C}e^{z_j}}，i=1,...,Cyi​=S(z)i​=∑j=1C​ezj​ezi​​，i=1,...,C z\boldsymbol{z}z是上一层的输...
深度学习知识十一：sigmoid、relu和softmax总结
yangdeshun888的博客
02-24 4794
sigmoid函数（也叫逻辑斯谛函数）： 　引用wiki百科的定义： 　　A logistic function or logistic curve is a common “S” shape (sigmoid curve). 　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。 sigmoid激活函数(也叫logistic
Softmax 反向传播公式推导
Charel_CHEN的博客
07-28 4636
Softmax 反向传播公式推导 标签（空格分隔）： Caffe源代码 Softmax是深度学习最常见的激活函数，能够将输入按照某一维度进行归一化，输出（0， 1）的值 Softmax函数形式为： f(xi)=exi∑j=1Kexjf(xi)=exi∑j=1Kexjf({x_i}) = \frac{{{e^{{x_i}}}}}{{\sum\limits_{j = 1}^K {{e^{...
反向传播及softmax算法推导
mykeylock的博客
09-22 2811
自己重新整理了一下反向传播算法及softmax算法的推导。 （1）针对通常的反向传播算法，Loss采用差值的绝对值平方和，非线性函数采用sigmoid函数 （2）softmax算法推导是指，采用softmax对输出数据处理，并采用交叉熵作为Loss函数。 两个算法的推导过程都是通过从单一元素出发，扩展到向量的形式。 反向传播算法更详细的推导可参考博客：https://zhuanlan.
卷积神经网络（二）：Softmax损失以及反向传播导数推导
Fire_Light_的博客
03-13 5196
Softmax与交叉熵 Softmax函数如下： Pk=eθkx∑dj=0eθjxPk=eθkx∑j=0deθjxP_k=\frac{e^{θ_kx}}{\sum_{j=0}^de^{θ_jx}} 其中，Pk对应输出层第k个神经元的输出，也就是预测为第k类的概率,d表示输出层神经元总数 其损失函数(交叉熵)如下： J(θ)=−1n∑i=0n∑j=0dI(label(i)==k)lnPiJ...
logsoftmax 反向传播
最新发布
04-26
logsoftmax是一种常用的激活函数，它将输入向量进行softmax操作后再取对数。在反向传播过程中，我们需要计算logsoftmax函数的导数。下面是logsoftmax函数的定义和反向传播计算方法： 1. logsoftmax函数定义： 对于输入向量x，logsoftmax函数的定义如下： logsoftmax(x) = log(exp(x) / sum(exp(x))) 2. 反向传播计算： 在反向传播过程中，我们需要计算logsoftmax函数对输入向量x的导数。假设y为logsoftmax函数的输出，即y = logsoftmax(x)，则导数计算如下： dL/dx = dy/dx * dL/dy 其中，dL/dx表示损失函数对输入向量x的导数，dL/dy表示损失函数对输出向量y的导数。 根据链式法则，我们可以将dy/dx展开为dy/dz * dz/dx，其中z为softmax函数的输出。根据softmax函数的导数计算公式，dz/dx可以表示为： dz/dx = softmax(x) * (1 - softmax(x)) 将dz/dx代入dy/dx * dL/dy的计算中，可以得到最终的导数计算公式： dL/dx = softmax(x) * (1 - softmax(x)) * dL/dy 以上就是logsoftmax函数的反向传播计算方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值