超详细！！！ 交叉熵损失函数的反向梯度推导（基于计算图）

最新推荐文章于 2024-07-10 15:22:31 发布
置顶 最新推荐文章于 2024-07-10 15:22:31 发布
阅读量4.2k 收藏 2
点赞数 1
分类专栏： 人工智能 机器学习 损失函数 交叉熵 梯度下降 优化算法 计算机视觉 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37621229/article/details/82496853
版权

 

如果对DeepLearning的底层实现感兴趣，可以到我的这篇博客看看，相信会有很大帮助，谢谢！

轩辕十四
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
交叉熵损失函数（Cross_entropy loss）的梯度下降法中w和b的梯度问题
weixin_42869502的博客
04-08 1617
# 计算梯度值(?) def gradient(X, Y_label, w, b): # This function computes the gradient of cross entropy loss with respect to weight w and bias b. y_pred = forward(X, w, b) pred_error = Y_label - y_pred w_grad = -np.sum(pred_error * X.T, 1) b_
交叉熵的反向传播梯度推导（使用softmax激活函数）
随风秀舞（diyoosjtu）
04-21 8358
设标签yk=1y_k=1yk​=1，也即xkx_kxk​对应的第kkk类的标签为1，则交叉熵损失函数为： (1)J=−∑j=1Nyjlog⁡ajL=−log⁡akLJ = -\sum_{j=1}^Ny_j\log a_j^L = -\log a_k^L \tag{1}J=−j=1∑N​yj​logajL​=−logakL​(1) 其中NNN是分类的类别数目。 softmax激活函数的表达式为： (...
交叉熵（Cross-Entropy）损失函数，对softmax的输出的梯度，为什么等于对应类别的概率减去标签值?
最新发布
m0_51955470的博客
07-10 484
交叉熵损失函数在深度学习中经常用于多分类任务，特别是结合softmax函数输出的情况下。理解交叉熵损失函数对softmax输出的梯度为什么等于预测概率减去标签值，需要从数学推导和直觉上理解。Softmax 函数回顾Softmax函数将网络最后一层的输出（通常是一个向量）转换为每个类别的概率分布。给定一个输入向量zz1​z2​zk​))softmaxzi​∑j1k​ezj​ezi​​这里zi​。
大白话5分钟带你走进人工智能-第十八节逻辑回归之交叉熵损失函数梯度求解过程(3)
L先生AI课堂
04-30 1083
第十八节逻辑回归之交叉熵损失函数梯度求解过程(2) 上一节中，我们讲解了交叉熵损失函数的概念，目标是要找到使得损失函数最小的那组θ，也就是l(θ)最大，即预测出来的结果在训练集上全部正确的概率最大。那我们怎么样找到我们的最优解呢？上节中提出用梯度下降法求解，本节的话我们对其具体细节展开。 先来看下我们...
机器学习--多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
AI小作坊 的博客
06-03 2538
https://blog.csdn.net/oBrightLamp/article/details/84069835 正文 在大多数教程中, softmax 和 cross-entropy 总是一起出现, 求梯度的时候也是一起考虑. softmax 和 cross-entropy 的梯度, 已经在上面的两篇文章中分别给出. 1 题目 考虑一个输入向量 x, 经 softmax 函数归一化处理后...
SVM 损失计算及梯度推导
SKEEa的博客
08-14 1327
SVM算法的本质就是，计算每一个样本中非正确分类与正确分类之间的差值，判断该差值是否大于 -Delta，如果大于则说明正确分类相对于非正确分类并不是很突出，需要进行优化，否则说明正确分类相对于非正确分类更突出，不需要对该非正确分类进行优化。 最后，对这些差值进行求和，得到的就是第i个样本的损失值。 从上面的损失函数式子可以看出，W分成两部分，一部分是Wj，另外一部分是Wyi，需要分别对这两部分进行求导； def svm_loss_naive(W, X, y, reg): """ Structur.
多分类交叉熵损失函数的梯度计算过程推导
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-13 4981
一、Softmax函数的导数 Softmax函数公式： Si 代表的是第i个神经元的输出 其中wij 是第i个神经元的第 j 个权重，b是偏移值。zi 表示该网络的第i个输出 隐藏层输出经过softmax： 具体过程如下图所示： z4 = w1x1+w2x2+w3x3 z5 = w4x1+w5x2+w6x3 z6 = w7x1+w8x2+w9*x3 经过softmax函数得到 多分类损失函数公式： 其中yi表示真实的分类结果 利用损失函数求梯度 已知不做推导 求解书过程推导： 如果i
交叉熵损失函数优缺点_交叉熵损失函数
weixin_39608748的博客
12-19 2207
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。二次代价函数的不足ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时，当发现自己犯的错误越大时，改正的力度就越大。比如投篮...
python实现 交叉熵损失函数_PyTorch的SoftMax交叉熵损失和梯度用法
weixin_29305337的博客
01-17 1401
在PyTorch中可以方便的验证SoftMax交叉熵损失和对输入梯度的计算关于softmax_cross_entropy求导的过程,可以参考HERE示例：# -*- coding: utf-8 -*-import torchimport torch.autograd as autogradfrom torch.autograd import Variableimport torch.nn.func...
神经网络中的激活函数与损失函数&深入理解推导softmax交叉熵
weixin_49374896的博客
02-26 2330
介绍神经网络中常用的激活函数和损失函数，主要是介绍softmax交叉熵损失函数，并使用计算图手动推导softmax交叉熵反向传播过程。
超详细的softmax的反向传播梯度计算推导
weixin_43217928的博客
03-10 2837
Softmax及其求导正向传播求导 正向传播 为了方便理解，若输入，输出只有3个变量（下面的普通性情况不太理解的可以带入此特殊情况帮助理解）。 输入：输出层神经元 Z = [z1z_1z1​, z2z_2z2​, z3z_3z3​]，分类标签 Y = [y1,y2,y3y_1, y_2, y_3y1​,y2​,y3​]（Y是one-hot标签，只有一个yiy_iyi​值为1，其他全为0) 输出：...
〖TensorFlow2.0笔记12〗误差计算之MSE,Cross Enropy+补充:多类交叉熵反向传播(详细推导)！
AI新视界
04-24 2640
误差计算！ 文章目录一、误差计算1.1、均方误差-MSE1.2、交叉熵-Entropy1.2.1、二分类的2中方式1.3、为什么不直接MSE而是交叉熵 一、误差计算 1.1、均方误差-MSE 实战演练： 代码如下： import tensorflow as tf y = tf.constant([1, 2, 3, 0, 2]) y = tf.one_hot(y, depth=4)...
二元交叉熵损失梯度推导
热门推荐
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
Softmax交叉熵损失函数 反向传播公式推导
Charel_CHEN的博客
07-28 4388
Softmax交叉熵损失函数 反向传播公式推导 标签（空格分隔）： Caffe源代码 Softmax交叉熵损失函数： J=−∑i=1Kyiln(zi)zi=exi∑j=1KexjJ=−∑i=1Kyiln⁡(zi)zi=exi∑j=1Kexj\begin{array}{l} J = - \sum\limits_{i = 1}^K {{y_i}\ln ({z_i})} \\ {z_i} =...
交叉熵损失函中对softmax函数输入单元求导过程
自然语言处理学习站
02-18 730
最近在回顾关于深度学习的基础知识。在求神经网络梯度的时候损失函数对于网络最后一层输入单元的求导是比较有技巧的。比如在多类别分类任务中经常用交叉熵损失函数训练softmax来输出目标值y。这一组合在对softmax输入单元的求梯度会非常简单，而且损失函数中的log可以抵消softmax中的exp。下面我就来推导交叉熵损失函中对softmax函数输入单元求导过程。   下图便是手动推导过程，我们的...
手推公式之“交叉熵”梯度
算法码上来
05-23 1400
交叉熵（CrossEntropy）是常见的损失函数，本文详细推导一下它的梯度，面试大厂或者工程实践中都可能会用到。前向传播假设分类任务类别数是，隐层输出是维向量，标准的one-hot向量是，正确的类别是。那么交叉熵损失可以定义为：其中，，是平滑参数。Softmax函数大家都很熟悉了，具体形式为：。反向传播对的梯度要分两种情况：推导过程根据求导法则有：其中就是Softmax函数的梯度（这个推导比较简...
SVM分类器中损失函数梯度求法及理解
jichihui7464的博客
06-02 4727
一、损失函数的计算公式：                                                       s(j)表示该类别错误分类为其他类别的估计分数。s(y(i))表示该类别正确的估值分数。这是基础的概念。           上式还可以进一步表示为矩阵向量相乘的形式：                                                 ...
逻辑回归交叉熵损失函数梯度推导过程
Cjjkstra的博客
10-27 1754
逻辑回归交叉熵损失函数梯度推导过程问题描述推导过程 问题描述 对逻辑回归交叉熵损失函数 J(θ)=−∑i=1m[yiln⁡yi^+(1−yi)ln⁡(1−yi^)]J(\bm{\theta})=-\sum_{i=1}^{m}\left[y_i\ln\hat{y_i}+(1-y_i)\ln\left(1-\hat{y_i}\right)\right]J(θ)=−i=1∑m​[yi​lnyi​^​+(1−yi​)ln(1−yi​^​)] 求梯度，其中 mmm 为样本个数，yiy_iyi​ 为第 iii 个样本的
损失函数-交叉熵 梯度下降
weixin_45715405的博客
04-10 1223
参考梯度下降法在机器学习中常常用来优化损失函数，是一个非常重要的工具。说白了，就是在高中学习过的「极值」的概念，那么什么是极值呢？用非常形象的方式来说极值点，梯度下降法的作用就是寻找一个 「极小值点」，从而让函数的值尽可能地小。相信你也发现了，这么多个极值点，那么梯度下降法找到的是哪一个点呢？关于这个问题就要看运气了，算法的最开始会 「随机」 寻找一个位置然后开始搜索「局部」的最优解，如果运气好的话能够寻找到一个最小值的极值点，运气不好或许找到的就不是最小值的那个极小值点了。
交叉熵损失函数的反向传播
04-02
交叉熵损失函数的反向传播可以使用链式法则进行推导。假设神经网络的输出为 $y_i$，真实标签为 $t_i$，则交叉熵损失函数为： $$ L = -\sum_i t_i \log y_i $$ 我们需要计算 $\frac{\partial L}{\partial y_i}$，再通过链式法则计算出其他参数的梯度。 首先，根据导数的定义，有： $$ \frac{\partial L}{\partial y_i} = -\frac{t_i}{y_i} $$ 接下来，我们需要计算 $\frac{\partial y_i}{\partial z_j}$，其中 $z_j$ 表示第 $j$ 个神经元的输入。根据 softmax 函数的定义，有： $$ y_i = \frac{e^{z_i}}{\sum_j e^{z_j}} $$ 当 $i=j$ 时有： $$ \frac{\partial y_i}{\partial z_i} = \frac{\partial}{\partial z_i} \frac{e^{z_i}}{\sum_j e^{z_j}} = \frac{e^{z_i} \sum_j e^{z_j} - e^{z_i} e^{z_i}}{(\sum_j e^{z_j})^2} = y_i (1 - y_i) $$ 当 $i \neq j$ 时有： $$ \frac{\partial y_i}{\partial z_j} = \frac{\partial}{\partial z_j} \frac{e^{z_i}}{\sum_j e^{z_j}} = -\frac{e^{z_i} e^{z_j}}{(\sum_j e^{z_j})^2} = -y_i y_j $$ 接下来，我们可以计算 $\frac{\partial L}{\partial z_j}$： $$ \frac{\partial L}{\partial z_j} = \sum_i \frac{\partial L}{\partial y_i} \frac{\partial y_i}{\partial z_j} = -\sum_i \frac{t_i}{y_i} y_i (1 - y_i) + \sum_{i \neq j} \frac{t_i}{y_i} y_i y_j = -t_j + y_j \sum_i t_i = y_j - t_j $$ 最后，根据链式法则，我们可以计算出其他参数的梯度： $$ \frac{\partial L}{\partial w_{jk}} = \frac{\partial L}{\partial z_j} \frac{\partial z_j}{\partial w_{jk}} = x_k (y_j - t_j) $$ $$ \frac{\partial L}{\partial b_j} = \frac{\partial L}{\partial z_j} \frac{\partial z_j}{\partial b_j} = y_j - t_j $$ 其中 $w_{jk}$ 表示第 $j$ 个神经元与第 $k$ 个输入之间的权重，$b_j$ 表示第 $j$ 个神经元的偏置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

轩辕十四

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值