多分类交叉熵损失函数的梯度计算过程推导

最新推荐文章于 2025-04-02 22:17:32 发布
最新推荐文章于 2025-04-02 22:17:32 发布
阅读量5.8k 收藏 15
点赞数 4
分类专栏： 深度学习 NLP 文章标签： 自然语言处理 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41128383/article/details/106091429
版权

Softmax函数公式：
在这里插入图片描述
Si 代表的是第i个神经元的输出
在这里插入图片描述
其中wij 是第i个神经元的第 j 个权重，b是偏移值。zi 表示该网络的第i个输出

隐藏层输出经过softmax：
在这里插入图片描述
具体过程如下图所示：
在这里插入图片描述
神经元输出结果
z4 = w1x1+w2x2+w3x3
z5 = w4x1+w5x2+w6x3
z6 = w7x1+w8x2+w9*x3
经过softmax函数得到
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

多分类损失函数公式：
在这里插入图片描述其中yi表示真实的分类结果

利用损失函数求梯度
在这里插入图片描述
在这里插入图片描述已知不做推导

求解书过程推导：
在这里插入图片描述
在这里插入图片描述
如果i等于j：
在这里插入图片描述
如果i不等于j：
在这里插入图片描述
在这里插入图片描述
针对分类问题，给定的结果yi 最终只会有一个类别是1，其他类别都是0，因此，对于分类问题，这个梯度等于：
在这里插入图片描述

逻辑回归交叉熵损失函数梯度推导过程
Cjjkstra的博客
10-27 1941
逻辑回归交叉熵损失函数梯度推导过程问题描述推导过程 问题描述 对逻辑回归交叉熵损失函数 J(θ)=−∑i=1m[yiln⁡yi^+(1−yi)ln⁡(1−yi^)]J(\bm{\theta})=-\sum_{i=1}^{m}\left[y_i\ln\hat{y_i}+(1-y_i)\ln\left(1-\hat{y_i}\right)\right]J(θ)=−i=1∑m​[yi​lnyi​^​+(1−yi​)ln(1−yi​^​)] 求梯度，其中 mmm 为样本个数，yiy_iyi​ 为第 iii 个样本的
sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程
PuJiang-的博客
08-23 3184
交叉熵损失函数、MSE、二分类、多分类
大白话5分钟带你走进人工智能-第十八节逻辑回归之交叉熵损失函数梯度求解过程(3)
L先生AI课堂
04-30 1211
第十八节逻辑回归之交叉熵损失函数梯度求解过程(2) 上一节中，我们讲解了交叉熵损失函数的概念，目标是要找到使得损失函数最小的那组θ，也就是l(θ)最大，即预测出来的结果在训练集上全部正确的概率最大。那我们怎么样找到我们的最优解呢？上节中提出用梯度下降法求解，本节的话我们对其具体细节展开。 先来看下我们...
多分类交叉熵
最新发布
weixin_51147313的博客
04-02 1150
要理解多分类交叉熵损失的由来，首先需要掌握信息论中的两个基础概念：熵（Entropy）和交叉熵（Cross-Entropy）。熵（Entropy） 熵衡量一个随机变量的不确定性。对于一个离散随机变量 XXX（例如类别分布），其熵定义为： H(X)=−∑i=1Cpilog⁡(pi) H(X) = -\sum_{i=1}^{C} p_i \log(p_i) H(X)=−i=1∑C​pi​log(pi​)交叉熵（Cross-Entropy） 交叉熵衡量两个概率分布 PPP（真实分布）和 QQQ（预测分布）之间的差
损失函数-交叉熵 梯度下降
weixin_45715405的博客
04-10 1745
参考梯度下降法在机器学习中常常用来优化损失函数，是一个非常重要的工具。说白了，就是在高中学习过的「极值」的概念，那么什么是极值呢？用非常形象的方式来说极值点，梯度下降法的作用就是寻找一个 「极小值点」，从而让函数的值尽可能地小。相信你也发现了，这么多个极值点，那么梯度下降法找到的是哪一个点呢？关于这个问题就要看运气了，算法的最开始会 「随机」 寻找一个位置然后开始搜索「局部」的最优解，如果运气好的话能够寻找到一个最小值的极值点，运气不好或许找到的就不是最小值的那个极小值点了。
交叉熵损失函数的推导
oldlybaby的博客
08-22 2533
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、交叉熵是什么？二、解决sigmoid激活函数的问题1.sigmoid损失函数存在的问题2.交叉熵的引入2.读入数据总结 前言 最近在学习自然语言处理，其中大量模型涉及到了用softmax层作为输出，再用交叉熵（cross-entropy loss）作为损失函数。 在此回忆一下交叉熵损失函数，并从3个方面： 为了解决sigmoid激活函数的问题 从极大似然估计推导 从信息论推导 推导其由来。 提示：以下是本篇文章正文内
【神经网络笔记】——多分类交叉熵损失函数公式及代码实现
BlackValley的博客
06-18 1万+
背景 mse均方误差、mae绝对值平均误差用于拟合回归，公式已经熟悉了，但交叉熵的每次都只是应用，没有了解公式，这对于自己写交叉熵损失函数以及分析损失函数不利。 公式详解 C是损失值； n是求平均用的，所以是样本数量，也就是batchsize； x是预测向量维度，因为需要在输出的特征向量维度上一个个计算并求和； y是onehot编码后的真实值 对应x维度上的标签，是1或0； a是onehot格式输出的预测标签，是0~1的值，a经过了softmax激活，所以a的和值为1 对于某个维度xix_ixi​，y=1
交叉熵代价函数求梯度的推导
vvyuervv的博客
03-14 4275
一直都不太理解使用交叉熵代价函数和使用二次代价函数的求梯度的公式为什么是一样的？ 今天手动推导了一遍，交叉熵函数中的log理解为ln时，刚好是一样的。
python实现 交叉熵损失函数_PyTorch的SoftMax交叉熵损失和梯度用法
weixin_29305337的博客
01-17 1480
在PyTorch中可以方便的验证SoftMax交叉熵损失和对输入梯度的计算关于softmax_cross_entropy求导的过程,可以参考HERE示例：# -*- coding: utf-8 -*-import torchimport torch.autograd as autogradfrom torch.autograd import Variableimport torch.nn.func...
交叉熵代价函数（作用及公式推导） - Arthur-Chen的专栏 - CSDN博客1
08-03
交叉熵代价函数是神经网络优化过程中常用的一种损失函数，尤其在分类问题中表现优秀。它主要解决了二次代价函数在处理较大误差时导致训练缓慢的问题。本文将深入探讨交叉熵代价函数的作用、公式推导以及与二次代价...
二分类问题的sigmoid交叉熵损失函数推导
大风车
09-23 9641
本文章参考deeplearning 一书第六章6.2.2.2 Sigmoid Units for Bernoulli Output Distributions 要建立一个模型，不可或缺的有：1、数据，2、损失函数，3、模型算法，4、优化算法。 今天我们讨论下损失函数这块。损失函数的设计，与模型最后输出的内容是有一定关联的。 对于大部分的任务（回归 or 分类）,最大似然估计的应用比较常见。最大似然估计是点估计的一种。「最大化 log likelihood」 可以间接理解为 「最小化交叉熵」。（...
分类问题损失函数 – 交叉熵
01-06
参考链接：https://zhuanlan.zhihu.com/p/61944055 信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。公式如下： 相对熵： 又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)从常用于描述样本的真实分布，而q(x)常用于表示预测的分布。KL散度值越小表示两个分布越接近。 公式如下： 交叉熵(cross entropy)： 将KL散度公式进行变形得到： 前半部分就是p(x)的熵，后半部分就是交叉熵： 机器学习中，我们常常使用KL散度来评估pr
softmax的交叉熵导数推导.docx
05-16
本文为softmax 的交叉熵 求导公式，来源于斯坦福cs224n 其中一题
手推公式之“交叉熵”梯度
算法码上来
05-23 1541
交叉熵（CrossEntropy）是常见的损失函数，本文详细推导一下它的梯度，面试大厂或者工程实践中都可能会用到。前向传播假设分类任务类别数是，隐层输出是维向量，标准的one-hot向量是，正确的类别是。那么交叉熵损失可以定义为：其中，，是平滑参数。Softmax函数大家都很熟悉了，具体形式为：。反向传播对的梯度要分两种情况：推导过程根据求导法则有：其中就是Softmax函数的梯度（这个推导比较简...
交叉熵损失函数基本概念及公式
qlkaicx的博客
02-12 9072
对于二分类问题，模型的输出通常是一个标量，表示样本属于正类的概率。因此，在二分类的交叉熵损失函数中，我们只需要考虑一个概率值，即模型预测为正类的概率。具体来说，当真实标签为1时，我们关注模型预测为正类的概率；当真实标签为0时，我们关注模型预测为负类的概率。因此，二分类的交叉熵损失函数可以表示为：其中，y 表示真实标签，取值为 0 或 1；p 表示模型预测为正类的概率。而对于多分类问题，模型的输出通常是一个向量，表示样本属于各个类别的概率。因此，在多分类的交叉熵损失函数中，我们需要考虑所有类别的概率。
超详细！！！ 交叉熵损失函数的反向梯度推导（基于计算图）
别捏我的婴儿肥
09-07 4345
  如果对DeepLearning的底层实现感兴趣，可以到我的这篇博客看看，相信会有很大帮助，谢谢！
交叉熵损失函数（Cross-Entropy Loss）
qq_39437730的博客
12-11 1万+
交叉熵损失函数是深度学习中分类问题常用的损失函数，特别适用于多分类问题。它通过度量预测分布与真实分布之间的差异，来衡量模型输出的准确性。中，softmax 和交叉熵是结合在一起实现的，因此你不需要手动调用 softmax。用于度量预测分布与真实分布之间的差异，是分类问题中的核心工具。结合 softmax，用来计算预测分布与真实分布之间的差异。结合了 softmax 和交叉熵计算，使用简单且高效。模型通常输出logits（未归一化的分数），例如。4、示例：在神经网络中的应用。在 PyTorch 的。
浅析交叉熵损失函数
bin
08-11 1413
浅析交叉熵损失函数 首先抛出交叉熵损失函数分别用于二分类和多分类的损失函数表达式子： 二分类交叉熵损失函数 L=−[ylogp+(1−y)log(1−p)]L = -[ylogp +(1-y)log(1-p)]L=−[ylogp+(1−y)log(1−p)] 其中yyy表示样本标签，ppp表示对应样本标签预测为正的概率 如: 当y=0时y=0时y=0时，L=−logpL=-logpL=−logp,...
多分类损失函数---交叉熵cross entropy
热门推荐
lrr_csdn的博客
11-23 2万+
多分类问题常用交叉熵作为损失函数。对于softmax和cross entropy的详细讲解可参考AI之路博主的博文。 网址：https：//blog.csdn.net/u014380165/article/details/77284921
多分类交叉熵损失函数
07-27
多分类交叉熵损失函数在多分类任务中被广泛使用。在TensorFlow中，有两种常见的多分类交叉熵损失函数：sparse_categorical_crossentropy和categorical_crossentropy。这两种损失函数的计算方式略有不同。 sparse_categorical_crossentropy适用于标签以整数形式表示的情况。它会将标签转换为one-hot编码形式，并计算每个样本的交叉熵损失。然后将所有样本的损失加起来并求平均。这种损失函数适用于标签具有互斥关系的情况，例如将图像分类为不同的类别。 categorical_crossentropy适用于标签以one-hot编码形式表示的情况。它直接计算每个样本的交叉熵损失，并将所有样本的损失加起来并求平均。这种损失函数适用于标签具有互斥关系的情况，例如将图像分类为不同的类别。 总结起来，多分类交叉熵损失函数在多分类任务中用于衡量模型预测结果与真实标签之间的差异。它可以帮助模型学习如何更好地分类不同的类别。 #### 引用[.reference_title] - *1* *2* *3* [sparse_categorical_crossentropy/categorical_crossentropy/binary_crossentropy交叉熵损失](https://blog.csdn.net/IT142546355/article/details/127022685)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值