多分类交叉熵损失函数的梯度计算过程推导

最新推荐文章于 2024-05-08 10:13:09 发布
最新推荐文章于 2024-05-08 10:13:09 发布
阅读量4.8k 收藏 14
点赞数 3
分类专栏： 深度学习 NLP 文章标签： 自然语言处理 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41128383/article/details/106091429
版权

Softmax函数公式：
在这里插入图片描述
Si 代表的是第i个神经元的输出
在这里插入图片描述
其中wij 是第i个神经元的第 j 个权重，b是偏移值。zi 表示该网络的第i个输出

隐藏层输出经过softmax：
在这里插入图片描述
具体过程如下图所示：
在这里插入图片描述
神经元输出结果
z4 = w1x1+w2x2+w3x3
z5 = w4x1+w5x2+w6x3
z6 = w7x1+w8x2+w9*x3
经过softmax函数得到
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

多分类损失函数公式：
在这里插入图片描述其中yi表示真实的分类结果

利用损失函数求梯度
在这里插入图片描述
在这里插入图片描述已知不做推导

求解书过程推导：
在这里插入图片描述
在这里插入图片描述
如果i等于j：
在这里插入图片描述
如果i不等于j：
在这里插入图片描述
在这里插入图片描述
针对分类问题，给定的结果yi 最终只会有一个类别是1，其他类别都是0，因此，对于分类问题，这个梯度等于：
在这里插入图片描述

baihaisheng
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
逻辑回归交叉熵损失函数梯度推导过程
Cjjkstra的博客
10-27 1741
逻辑回归交叉熵损失函数梯度推导过程问题描述推导过程 问题描述 对逻辑回归交叉熵损失函数 J(θ)=−∑i=1m[yiln⁡yi^+(1−yi)ln⁡(1−yi^)]J(\bm{\theta})=-\sum_{i=1}^{m}\left[y_i\ln\hat{y_i}+(1-y_i)\ln\left(1-\hat{y_i}\right)\right]J(θ)=−i=1∑m​[yi​lnyi​^​+(1−yi​)ln(1−yi​^​)] 求梯度，其中 mmm 为样本个数，yiy_iyi​ 为第 iii 个样本的
交叉熵代价函数（作用及公式推导） - Arthur-Chen的专栏 - CSDN博客1
08-03
交叉熵代价函数是神经网络优化过程中常用的一种损失函数，尤其在分类问题中表现优秀。它主要解决了二次代价函数在处理较大误差时导致训练缓慢的问题。本文将深入探讨交叉熵代价函数的作用、公式推导以及与二次代价...
损失函数和网络优化方法（梯度下降、学习率优化方法）
linxinyide的博客
02-24 1383
分类及回归任务的损失函数（MAE、MSE、smooth L1）、网络优化方法、梯度下降（指数加权平均、Momentum、AdaGrad、RMSProp、Adam）及学习率优化方法
sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程
PuJiang-的博客
08-23 2891
交叉熵损失函数、MSE、二分类、多分类
机器学习-交叉熵损失及其题目
最新发布
m0_69378371的博客
05-08 216
具体来说，对于一个分类问题，假设有n个类别，每个样本的真实标签用一个长度为n的向量表示，其中只有一个元素为1，其余元素为0，表示该样本属于的类别。它用于衡量两个概率分布之间的差异性，通常在训练分类模型时用来衡量模型输出的预测值与真实标签之间的差距。交叉熵损失的特点是当模型的预测值与真实值之间的差距越大时，损失函数的值越大，反之亦然。假设我们有一个二分类的问题，真实标签为𝑦=[1,0]y=[1,0]，而模型的输出概率为𝑦^=[0.8,0.2]y^​=[0.8,0.2]。请计算使用交叉熵损失函数得到的损失值。
交叉熵损失函数的计算公式
weixin_42588877的博客
02-11 1377
交叉熵损失函数的计算公式如下: 对于二分类问题： L = -(ylog(p) + (1-y)log(1-p)) 其中：L为交叉熵损失函数的值，y为真实标签(0或1)，p为模型预测为正类的概率。 对于多分类问题： L = -∑y_ilog(p_i) 其中：L为交叉熵损失函数的值，y_i为真实标签，p_i为模型对第i类的预测概率。 ...
损失函数的总结与推导
weixin_41744192的博客
08-20 4622
损失函数的总结与推导1. 概念区分2.回归常用损失函数2.1 均方差损失（MSE）2.2 平均绝对损失 (MAE)MAE与MSE的比较2.3 Huber Loss3.分类常用损失函数3.1 交叉熵损失3.1.1 二分类3.1.2 多分类分类为什么是交叉熵总结 1. 概念区分 Loss Function 损失函数 Loss Function 损失函数 Loss Function还分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，通常是针对单个训练样本而言，给定一个模型输出
浅析交叉熵损失函数
bin
08-11 983
浅析交叉熵损失函数 首先抛出交叉熵损失函数分别用于二分类和多分类的损失函数表达式子： 二分类交叉熵损失函数 L=−[ylogp+(1−y)log(1−p)]L = -[ylogp +(1-y)log(1-p)]L=−[ylogp+(1−y)log(1−p)] 其中yyy表示样本标签，ppp表示对应样本标签预测为正的概率 如: 当y=0时y=0时y=0时，L=−logpL=-logpL=−logp,...
【神经网络笔记】——多分类交叉熵损失函数公式及代码实现
BlackValley的博客
06-18 1万+
背景 mse均方误差、mae绝对值平均误差用于拟合回归，公式已经熟悉了，但交叉熵的每次都只是应用，没有了解公式，这对于自己写交叉熵损失函数以及分析损失函数不利。 公式详解 C是损失值； n是求平均用的，所以是样本数量，也就是batchsize； x是预测向量维度，因为需要在输出的特征向量维度上一个个计算并求和； y是onehot编码后的真实值 对应x维度上的标签，是1或0； a是onehot格式输出的预测标签，是0~1的值，a经过了softmax激活，所以a的和值为1 对于某个维度xix_ixi​，y=1
直观描述 数学推导 损失函数到第一层权重 到第二层权重 半符号推导
08-17
本主题将直观地探讨数学推导过程，从损失函数如何影响第一层权重直至影响第二层权重，同时采用半符号化的方式进行阐述，特别适合神经网络的初学者。 首先，让我们从损失函数开始。在机器学习中，损失函数是我们衡量...
人工神经网络中损失函数的研究.pdf
09-26
交叉熵损失函数的梯度计算公式为： 鄣C鄣w = -[y * 滓渊Z冤 - (1 - y) * (1 - 滓渊Z冤)] 鄣C鄣b = -[y * 滓渊Z冤 - (1 - y) * (1 - 滓渊Z冤)] 通过对比两种损失函数的梯度计算公式可以发现，平方差损失函数的梯度...
2.2回顾损失函数偏导数1
08-04
在本篇内容中，我们将深入探讨逻辑回归的相关知识点，包括损失函数的偏导数推导、正则化以及多分类问题。逻辑回归是一种广泛应用的分类算法，尤其在二分类问题中表现出色。以下是对各部分的详细解释： 1. **逻辑...
机器学习入门 — 根据推导公式使用Python实现梯度下降与逻辑回归
12-21
梯度下降通过不断沿着目标函数梯度的反方向更新参数，以逐步减小损失函数，直至达到全局或局部最小值。 在逻辑回归的上下文中，损失函数通常是交叉熵损失（Cross-Entropy Loss），也称为对数似然损失。对于每个样本...
多分类问题的softmax函数交叉熵损失函数推导
大风车
05-11 5993
二分类与多分类 多分类问题的交叉熵损失函数推导与二分类交叉熵损失函数推导的思想是一致的。可以先参考 二分类问题的交叉熵损失函数推导可参考二分类问题的交叉熵损失函数推导。 本文参考deeplearning 一书 6.2.2.3 Softmax Units for Multinoulli Output Distributions 好啦，开始步入正题啦～ 首先要明确一点的是，为多分类问题和二分类问题设计的模型 在 最后一层直接输出的东西那里有比较大的不同。 假设模型的输出层是全连接层，我们可以画出...
多分类交叉熵损失函数的详细计算过程
Xu_Wave
05-19 3885
面试题
【NLP】
zkq_1986的博客
05-09 267
序 交叉熵损失是分类任务中的常用损失函数，但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢？ 本次记录一下二者的不同。 两种形式 这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。为什么同是交叉熵损失函数，长的却不一样呢？ 因为这两个交叉熵损失函数对应不同的最后一层的输出： 第一个对应的最后一层是softmax，第二个对应的最后一层是sigmoid。 信息论中的...
多分类损失函数---交叉熵cross entropy
热门推荐
lrr_csdn的博客
11-23 2万+
多分类问题常用交叉熵作为损失函数。对于softmax和cross entropy的详细讲解可参考AI之路博主的博文。 网址：https：//blog.csdn.net/u014380165/article/details/77284921
损失函数——交叉熵损失（Cross-entropy loss）
weixin_50752408的博客
03-15 2万+
对于每个类别i，yi​表示真实标签x属于第i个类别的概率，y^​i​表示模型预测x属于第i个类别的概率。对于每个输入数据x，我们定义一个C维的向量y^​，其中y^​i​表示x属于第i个类别的概率。假设真实标签y是一个C维的向量，其中只有一个元素为1，其余元素为0，表示x属于第k个类别。该函数将输入数据视为模型输出的概率分布，将目标标签视为类别索引，并计算这些概率与实际标签之间的交叉熵损失。其中，xi​表示真实标签的第i个元素，y​i​表示模型预测x属于第i个类别的概率。清空梯度，计算模型输出和损失，使用。
TypeError: iteration over a 0-d tensor
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
06-02 1万+
模型训练报错： TypeError: iteration over a 0-d tensor 解决： total_loss+=loss 换成如下方式 total_loss+=loss.item()
交叉熵损失函数的反向传播
04-02
交叉熵损失函数的反向传播可以使用链式法则进行推导。假设神经网络的输出为 $y_i$，真实标签为 $t_i$，则交叉熵损失函数为： $$ L = -\sum_i t_i \log y_i $$ 我们需要计算 $\frac{\partial L}{\partial y_i}$，再通过链式法则计算出其他参数的梯度。 首先，根据导数的定义，有： $$ \frac{\partial L}{\partial y_i} = -\frac{t_i}{y_i} $$ 接下来，我们需要计算 $\frac{\partial y_i}{\partial z_j}$，其中 $z_j$ 表示第 $j$ 个神经元的输入。根据 softmax 函数的定义，有： $$ y_i = \frac{e^{z_i}}{\sum_j e^{z_j}} $$ 当 $i=j$ 时有： $$ \frac{\partial y_i}{\partial z_i} = \frac{\partial}{\partial z_i} \frac{e^{z_i}}{\sum_j e^{z_j}} = \frac{e^{z_i} \sum_j e^{z_j} - e^{z_i} e^{z_i}}{(\sum_j e^{z_j})^2} = y_i (1 - y_i) $$ 当 $i \neq j$ 时有： $$ \frac{\partial y_i}{\partial z_j} = \frac{\partial}{\partial z_j} \frac{e^{z_i}}{\sum_j e^{z_j}} = -\frac{e^{z_i} e^{z_j}}{(\sum_j e^{z_j})^2} = -y_i y_j $$ 接下来，我们可以计算 $\frac{\partial L}{\partial z_j}$： $$ \frac{\partial L}{\partial z_j} = \sum_i \frac{\partial L}{\partial y_i} \frac{\partial y_i}{\partial z_j} = -\sum_i \frac{t_i}{y_i} y_i (1 - y_i) + \sum_{i \neq j} \frac{t_i}{y_i} y_i y_j = -t_j + y_j \sum_i t_i = y_j - t_j $$ 最后，根据链式法则，我们可以计算出其他参数的梯度： $$ \frac{\partial L}{\partial w_{jk}} = \frac{\partial L}{\partial z_j} \frac{\partial z_j}{\partial w_{jk}} = x_k (y_j - t_j) $$ $$ \frac{\partial L}{\partial b_j} = \frac{\partial L}{\partial z_j} \frac{\partial z_j}{\partial b_j} = y_j - t_j $$ 其中 $w_{jk}$ 表示第 $j$ 个神经元与第 $k$ 个输入之间的权重，$b_j$ 表示第 $j$ 个神经元的偏置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值