神经网络softmax激活函数的求导过程

最新推荐文章于 2024-06-12 19:05:47 发布
最新推荐文章于 2024-06-12 19:05:47 发布
阅读量1.8k 收藏 3
点赞数 2
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012787116/article/details/83031819
版权

在使用softmax函数作为输出层激活函数的神经网络中，进行反向传播时需要计算损耗函数相对于Z的导数，即 \frac{\partial L}{\partial Z}。网上有很多公式推导，但都太“数学”化了，看着比较抽象。所以总结下自己理解的比较简单的推导过程。

首先，为了直观理解，我们假设Z为一个3x1的向量，通过soft max函数激活后的A也为3x1的向量。当Z的维度更大时，其实方法也都是一样，为了避免繁琐的表达式，这里进行了简化。

具体过程如下图，由于是临时手写，可能会有些地方公式符号有误，但应该不影响理解：

 

刀刀脱靶
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
TensorFlow神经网络中的激活函数
JasonStudy
01-18 547
激活函数是人工神经网络的一个极其重要的特征。它决定一个神经元是否应该被激活，激活代表神经元接收的信息与给定的信息有关。激活函数对输入信息进行非线性变换。 然后将变换后的输出信息作为输入信息传给下一层神经元。激活函数的作用当我们不用激活函数时，权重和偏差只会进行线性变换。线性方程很简单，但解决复杂问题的能力有限。没有激活函数的神经网络实质上只是一个线性回归模型。激活函数对输入进行非线性变换...
激活函数（Relu，sigmoid，Tanh，softmax）详解
热门推荐
m0_53675977的博客
12-10 2万+
总结了常用的激活函数，如何在工程实践中合理选择激活函数。
激活函数的作用之Softmax函数详解与举例（小白可入）
最新发布
m0_51200050的博客
06-12 859
激活函数的作用之Softmax函数详解与举例（小白可入）
深度学习：softmax激活函数及其求导（附带softmax激活函数的交叉熵损失梯度求解）
weixin_44197457的博客
02-06 294
softmax激活函数详解
神经网络反向传播(2)--激活函数求导汇总
cymatt的博客
11-14 606
神经网络激活函数汇总
神经网络常见激活函数求导
m0_46926492的博客
11-07 769
sigmoid(x)​=1+e−x1​​sigmoid′(x)​=(1+e−x1​)′=(1+e−x)20−(1+e−x)′​=(1+e−x)2e−x​=(1+e−x)(1+e−x)1+e−x−1​=(1+e−x)1+e−x−1​.(1+e−x)1​=[1。
Softmax函数原理及Python实现过程解析
09-16
Softmax函数是机器学习和深度学习领域中一种重要的激活函数，尤其在多分类问题中扮演着关键角色。它能够将一组实数值转化为概率分布，确保每个类别的概率和为1，使得模型的输出更加符合实际场景的需求。 ## Softmax...
07-改善深层神经网络week31
08-04
在神经网络中，对激活函数的输出进行归一化可以提高模型的稳定性和收敛速度。通过将激活值约束在一个特定的范围内，可以减少梯度消失或爆炸的问题，从而改善训练过程。 **3.5 批量归一化（BatchNorm）的引入** 批量...
卷积神经网络水果识别.pdf
09-25
激活函数是卷积神经网络的非线性层，为网络引入非线性能力，可以在连续的两次线性的卷积操作或全连接操作间进行一次非线性的变换。在本文中，我们选择了ReLU函数，因为它的收敛速度快、计算简便，并且可以防止梯度...
不使用任何框架的bp神经网络代码
11-06
2.求导过程计算 3.matplot显示图表 4.numpy矩阵运算实现 5.递归实现层集计算 四、阅读须知： 1.参考本代码之前需要先了解bp神经网络的构成 2.此资源未使用框架，求导也是代码实现，主要是公式求导，后期会推出计算图...
记一次自己动手实现一个简单神经网络
12-21
激活函数是神经网络的核心组成部分，它们引入非线性，使得网络能够学习复杂的关系。在这个模型中，作者使用了sigmoid函数作为第一层全连接层的激活函数，而softmax函数用于第二层，以处理二分类问题的输出。 - **...
神经网络激活函数与求导
AI World
03-09 2390
常用神经网络激活函数及其求导公式推导~
深度学习【3】BP神经网络
m0_63462829的博客
08-14 845
BP神经网络思想，推导过程；激活函数的定义，种类。
闲谈神经网络softmax激活函数
iflyBird@zhang的博客
05-11 4579
（首先说明一下我只是个大四在读学生，在自学深度学习，期间遇到很多问题，通过各种资料解开了疑问。写这篇博客的目的是加深对理论的理解，同时也希望能给和我一样存在疑问的...
详解softmax函数以及相关求导过
wzy的博客
03-21 6854
这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是更形象的如下图表示： softmax直白来说就是将原来输出是3
softmax函数和softmax_loss
feiyanjia的博客
08-02 5605
softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。 softmax函数的公式是这种形式：  Si=ezi∑kezkSi=ezi∑kezk SiSi代表的...
softmax 函数以及相关求导过程+交叉熵（Cross entropy）
ytusdc的博客
06-15 6582
参考文章（需要看）： 2简单的交叉熵损失函数，你真的懂了吗？:https://blog.csdn.net/red_stone1/article/details/80735068 一、softmax函数 softmax(柔性最大值)函数，一般在神经网络中， softmax用于多分类过程中。它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类。softmax函...
Softmax函数详解以及求导过程
猫敷雪
03-27 2727
这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 Si=ei∑jejS_{i}=\frac{e^{i}}{\sum_{j} e^{j}}S...
优秀的激活函数具有哪些特征
06-06
优秀的激活函数应该具有以下几个特征： 1. 可微性：激活函数应该是可微的，因为在反向传播算法中需要对激活函数进行求导。 2. 非线性：激活函数应该是非线性的，因为神经网络需要对非线性问题进行建模。 3. 广义可导性：激活函数对于所有输入都应该是可导的，因为在某些情况下可能需要对高阶导数进行计算。 4. 单调性：在一定输入范围内，激活函数应该是单调的，这样可以保证神经网络的输出具有一定的可解释性。 5. 输出范围：激活函数的输出应该在一定范围内，例如sigmoid函数的输出范围在0到1之间。 6. 计算效率：激活函数的计算应该是高效的，这样可以加快神经网络的训练速度。 7. 饱和性：激活函数应该避免出现饱和现象，即当输入过大或过小时，输出值的变化趋势会趋于平缓，这会导致梯度消失或梯度爆炸。 综上所述，优秀的激活函数应该具有可微性、非线性、广义可导性、单调性、输出范围、计算效率和避免饱和现象等特征。常见的激活函数包括sigmoid、ReLU、tanh、softmax等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值