关于softmax及其求导

最新推荐文章于 2024-06-11 16:43:37 发布
最新推荐文章于 2024-06-11 16:43:37 发布
阅读量1.6k 收藏 1
点赞数 1
分类专栏： 机器学习（杂）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30241305/article/details/82662708
版权

一、softmax介绍

定义：将si替换成aj

应用：分类问题结果的归一化处理

二、sofmax求导

C为交叉熵损失函数：

导数：

为什么要将下角标通过j和i区分呢？

如图，在这种情况下，其他类别预测的y值也会 影响softmax的结果。


①如果i=j：ai * （1 - ai）


②如果i≠j：-ai * aj

与交叉熵损失函数结合结果为：

最低0.47元/天 解锁文章
我爱AI_AI爱我
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Softmax函数详解以及求导过程
猫敷雪
03-27 2727
这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 Si=ei∑jejS_{i}=\frac{e^{i}}{\sum_{j} e^{j}}S...
softmax求导，你求对了吗
xiaocong1990的博客
02-06 1643
问题提出  按定义(一般资料中的定义)，softmax的似然函数为：  ∏i∏kPk(xi)I(y(i)=k) 其中 k∈{1,2,⋯,K}, i∈{1,2,⋯,N}, Pk(xi) 按softmax概率定义有：  Pk(xi)=eθTkxi∑Kl=1eθTlxi 对似然函数取负对数，求匀值，引入正则项，得到目标函数/损失函数，如下:  J(θ)=−1N
CUDA 算子优化：Softmax
最新发布
qq_56047026的博客
06-11 919
把输入映射为0-1之间的实数，并且归一化保证和为1。max非黑即白，soft，输出是每个分类被取到的概率。定义：该元素的softmax值就是该元素的指数和所有元素指数和的比值定义的原因：1.softmax设计的初衷是希望特征对概率的影响是乘性的。2.多类目标分类问题的目标函数常常选为cross-entropy。
softmax 目标函数及导数
05-04
sofmtax前向传播及反向传播过程，后续只需通过外部优化算法进行迭代计算即可。
Softmax的求导
u010814042的博客
07-21 311
按定义(一般资料中的定义)，softmax 的似然函数为： ∏i∏kPk(xi)I(y(i)=k)\prod\limits_i\prod\limits_kP_k(x_i)^{I(y^{(i)}=k)} 另一种等价的表达是： ∏i∏keθTkXiI(y(i)=k)∏lKeθTjxi\prod\limits_i{\frac{\prod\limits_k
softmax多分类 梯度推导
西澳峰的博客
08-05 709
为什么机器学习（三）—— 为什么softmax这样求导
12-21
最近机器学习课有个作业是实现softmax多分类鸢尾花数据集，之前从来没推过softmax的公式，直接拿来用了，好好研究了一下，发现这个原理的推导还是有不少复杂的东西，分享一下结果，公式比较复杂，直接上手写了。...
softmax求导过程详解
09-26
总结来说，softmax函数的求导过程是机器学习模型训练中的关键步骤，尤其是在多分类问题中。通过理解这个过程，我们可以更好地优化模型，提高预测的准确性。在实践中，为了提高效率和避免梯度消失或爆炸的问题，通常...
Softmax函数原理及Python实现过程解析
09-16
Softmax函数是机器学习和深度学习领域中一种重要的激活函数，尤其在多分类问题中扮演着关键角色。它能够将一组实数值转化为概率分布，确保每个类别的概率和为1，使得模型的输出更加符合实际场景的需求。 ## Softmax...
softmax loss对输入的求导推导.pdf
07-30
softmax loss对输入的求导推导
关于tensorflow softmax函数用法解析
09-16
主要介绍了关于tensorflow softmax函数用法解析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
softmax梯度推导以及注意事项
00000cj的博客
06-17 418
当求对每个节点的偏导时，要区分和两种情况。 当时
Softmax 以及 交叉熵损失函数 的求导
abeldeng的专栏
01-19 5618
Ouput layer & 代价函数网络结构Output later 有K个神经元，有K个输入和输出。为了分别标记输入和输出，用ai∈[1,K]a_{i\in[1,K]}来表示Output layer的输入数据，yj∈[1,K]y_{j\in[1,K]}来表示Output layer输出点数据。每个输入数据ai∈[1,K]a_{i\in[1,K]}和隐藏层的H个块之间是全连接的。 输入和输出数据
softmax回归，你会求导吗？
08-05 9144
softmax回归
【深度学习】softmax 函数求导
gaocui883的博客
04-22 366
def _bwd(self,dLdy,X): dX = [] for dy,x in zip(dLdy, X): dxi = [] for dyi, xi in zip(*np.atleast_2d(dy, x)): # 用xi 计算yi. # 梯度：当i=j : yj - yj yj， 当i \= j : -yj yj # dyi,xi 都是矩阵，1 n_o..
softmax导数推理过程
baidu_41895811的博客
04-20 875
softmax导数softmax公式损失函数求导 softmax公式 aj=eZj∑i=1meZia_j=\frac{e^{Z_j}}{\sum_{i=1}^{m}e^{Z_i}}aj​=∑i=1m​eZi​eZj​​ 简单解释一下这个公式，aja_jaj​表示最终输出第j类的概率，而第j类的概率是用eZje^{Z_j}eZj​比上所有类别的和。 损失函数 L=−∑iyiln⁡aiL=-\sum_...
softmax函数以及相关求导过程
akon_wong_hkbu的博客
10-19 573
softmax的导数
entropyDJ的博客
12-22 637
softmax的原函数为： S(xi)=exiex0+ex1+...+exn=exi∑j=0nexj S(x_i)=\frac{e^{x_i}}{e^{x_0}+e^{x_1}+...+e^{x_n}} =\frac{e^{x_i}}{\sum_{j=0}^{n}e^{x_j}} S(xi​)=ex0​+ex1​+...+exn​exi​​=∑j=0n​exj​exi​​ 和普通的函数有点不太一样...
softmax，softmax-loss，BP的解释
热门推荐
AI之路
05-04 2万+
softmax，softmax-loss，BP的解释
softmax函数求导
09-06
- *1* *3* [softmax及其求导过程](https://blog.csdn.net/u014453898/article/details/108435173)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值