深度学习Loss function之Softmax中的矩阵求导

最新推荐文章于 2024-09-15 20:59:35 发布
最新推荐文章于 2024-09-15 20:59:35 发布
阅读量2.3k 收藏 3
点赞数
分类专栏： 深度学习 文章标签： 深度学习 softmax 矩阵求导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gitoo1993/article/details/78221238
版权
本文详细探讨了在深度学习中，针对Softmax损失函数的矩阵求导过程。首先介绍了Softmax函数及其损失函数的概念，然后通过推导展示了如何从损失函数的梯度df过渡到权重矩阵W的梯度dW，以此加深对反向传播的理解。最后，提供了与CS231n课程相关的Python代码实现链接。
摘要由CSDN通过智能技术生成

最近在重温CS231n的Assignment，采用SGD进行参数更新，在back propagation计算gradient时经常涉及到矩阵运算的的“求导”，在许多代码中该步骤仅需进行一次矩阵乘法，对其实现背后的推导没有进行说明，自己只有照抄死记硬背，但是毕竟只有明白背后的原理才能举一反三，在遇到其他需要对矩阵进行求导的情况时能够自己解决，因此今天我试着推导了一下，并且希望记录下来方便以后查阅：

首先简单介绍下Softmax：

假设在神经网络的最后一层输出为f(N，C)，N表示train data的数目，C表示种类的数量，f[i,j]可以理解为第i个train data在j类的分数，而Softmax将以f为输入，然后计算各个train data属于j类的概率，再计算Loss（一种对Softmax的解释)。Softmax的Loss function为：

                                

最低0.47元/天 解锁文章
Gitoo1993
关注
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 26万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
【2】激活函数与Loss函数求导
Clichong
03-28 2136
影响找到全局极小值点的几个主要的影响因素： 1）初始点的设置 2）学习率的设置，可能会影响收敛的精度与速度 ps : 处于一个全局极小值或者是鞍点的状态时，往往会影响实验效果 import torch import torch.nn.functional as F import matplotlib.pyplot as plt # Jupyter notebook 中的魔法命令 %matplotlib inline # 在下面的代码模块里面都可以不用写
深度学习 loss
10-12
深度学习 loss总结
【深度学习】一文读懂机器学习常用损失函数（Loss Function）
haima1998的专栏
07-21 1607
转自：https://www.cnblogs.com/guoyaohua/p/9217206.html 　损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： 　　其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的Φ是正则
关于Softmax，你想知道的都在这里了！
最新发布
⚡
09-15 1326
对于每一个输出，我们都可以对任意一个输入进行求导，所以Softmax函数的导数实际上是一个。此外，在深度学习模型中，fp16 精度广泛用于加速训练，但它的最大表示范围仅为。这一操作不仅可以避免数值溢出，还能提升计算的稳定性和精度，并且不影响Softmax的输出结果。对于负输入的计算会更加精确，我们可以通过将所有输入减去其最大值来缓解上溢问题，即计算。，第一次用来统计最大值，第二次用来计算分母，第三次用来计算每个输出。，第一次遍历是用来计算分母，第二次遍历是用来计算每一个输出。很容易发生上溢问题。
【深度学习】softmax 函数求导
gaocui883的博客
04-22 397
def _bwd(self,dLdy,X): dX = [] for dy,x in zip(dLdy, X): dxi = [] for dyi, xi in zip(*np.atleast_2d(dy, x)): # 用xi 计算yi. # 梯度：当i=j : yj - yj yj， 当i \= j : -yj yj # dyi,xi 都是矩阵，1 n_o..
学点基本功：机器学习常用损失函数小结
AI科技大本营
10-01 1250
（图片付费下载自视觉中国）作者 | 王桂波转载自知乎用户王桂波【导读】机器学习中的监督学习本质上是给定一系列训练样本，尝试学习的映射关系，使得给定一个，即便这个...
深度学习基础（损失函数）
2301_80038325的博客
06-13 383
损失函数（Loss Function）在机器学习和深度学习中扮演着至关重要的角色，它用来衡量模型预测值与真实值之间的差异，是优化算法的核心。通过最小化损失函数，可以使模型的预测结果更接近真实值，从而提高模型的性能。：不同的任务和模型可能需要使用不同的损失函数。在机器学习和深度学习中，损失函数用于衡量模型预测值与真实值之间的差异，是优化算法的关键部分。其中，𝑦𝑖 是真实标签的概率分布，𝑦^𝑖 是模型预测的概率分布，𝐶 是类别数。：有时候会将正则化项结合到损失函数中，形成带有正则化的损失函数，以避免过拟合。
卷积神经网络系列之softmax，softmax loss和cross entropy的讲解
热门推荐
AI之路
08-17 18万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是...
深度学习之图像分类—-多分类支持向量机（Multi-SVM）与softmax分类
01-06
由于KNN算法的局限性,我们需要实现更强大的方法来实现图像分类，一般情况下该方法包含两个函数，一是评分函数(score function)，它是原始图像到每个分类的分值映射，二是损失函数(loss function)，它是用来量化预测...
Softmax求导
亲亲Friends的博客
04-22 708
softmax的方程为： p=softmax(z) where pi=ezi∑j=1kezjfor i=1,⋯ ,k. \boldsymbol{p}=\text{softmax}(\boldsymbol{z})\, \text{where}\, p_i=\frac{e^{z_i}}{\sum^k_{j=1}e^{z_j}} \text{for}\, i=1,\cdots,k . p=softmax(z)wherepi​=∑j=1k​ezj​ezi​​fori=1,⋯,k. 上式中p\boldsymbol{
矩阵求导术完整版.pdf
11-18
机器学习的数学技术是矩阵求导，传统的资料上的内容难以记忆。本文是一个好的入门资料，帮助大家迅速掌握理解矩阵求导方法
softmax 损失函数求导过程
weixin_30588675的博客
04-10 256
前言：softmax中的求导包含矩阵与向量的求导关系，记录的目的是为了回顾。 　　下图为利用softmax对样本进行k分类的问题，其损失函数的表达式为结构风险，第二项是模型结构的正则化项。 　　首先，每个queue：x(i)的特征维度是 n , 参数 θ 是一个 n×k 的矩阵，输出的结果 y(i) 为一个 k×1 的向量，其中第 j 个元素对应元素的 e 指数为该 queue 属于第 j...
Softmax函数详解以及求导过程
猫敷雪
03-27 2779
这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 Si=ei∑jejS_{i}=\frac{e^{i}}{\sum_{j} e^{j}}S...
【深度学习 一】activation function以及loss function理解
weixin_45140119的博客
09-14 451
一 首先线性回归模型：可以看成是单层神经网络 二 引入非线性元素，使神经网络可以完成非线性映射，就引入了sigmoid，ReLU，softmax等激活函数 Sigmoid函数 Sigmoid =多标签分类问题=多个正确答案=非独占输出（例如胸部X光检查、住院）。构建分类器，解决有多个正确答案的问题时，用Sigmoid函数分别处理各个原始输出值。 Sigmoid函数是一种logistic函数，它将任意的值转换到[0,1]之间，如图1所示，函数表达式为： 这里的x可以为向量y： ...
【损失函数系列】softmax loss损失函数详解
gbz3300255的博客
09-08 4万+
1.损失函数： 损失函数（loss function）是用来评测模型的预测值f(x)与真实值Y的相似程度，损失函数越小，就代表模型的鲁棒性越好，损失函数指导模型学习。根据损失函数来做反向传播修改模型参数。机器学习的目的就是学习一组参数，使得预测值与真值无限接近。 2.softmax loss： 它是损失函数的一种，是softmax和cross-entropy loss组合而成的损失函数。 先看softmax，其函数形式如下：其中zj就是某个神经网络全连...
pytorch学习 激活函数和loss函数及其求导
weixin_42914662的博客
03-20 1273
文章目录1 激活函数1.1 sigmoid函数1.2 tanh函数1.3 Relu整形线性单元1.4softmax2 loss fuction2.1 均方差2.2.1 如何使用pytorch自动求导2.2 交叉cross熵entropy总结 # 前言 本文所有学习内容来自 [pytorch学这个就够了](https://www.bilibili.com/video/BV1Sr4y1N71H?p=29) 1 激活函数 激活函数包括sigmoid函数和tanh函数和relu函数和softmax函数（常与cro
softmax loss函数和求导以及数值稳定性讨论
zc199329的博客
12-26 1709
转： https://zhuanlan.zhihu.com/p/27223959 目录 背景与定义 导数 softmax的计算与数值稳定性 Loss function 对数似然函数 交叉熵 Loss function求导 Softmax函数 背景与定义 在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入映射到区间中，从而得到属于某个类...
深度学习基础：线性回归与softmax分类
在TF-UST-DAY1.5的PPT中，主要讨论了深度神经网络（Deep Neural Networks）中的基础概念，特别是与机器学习相关的算法。课程首先回顾了机器学习的基本原理，包括线性回归（Linear Regression）和逻辑回归（Logistic ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值