逻辑回归的交叉熵损失函数求导

最新推荐文章于 2025-03-29 19:34:25 发布
原创 最新推荐文章于 2025-03-29 19:34:25 发布 · 721 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#逻辑回归

本文详细介绍了逻辑回归的交叉熵损失函数，并通过数学推导展示了其求导过程，最终得到了损失函数关于参数的梯度表达式。这有助于理解逻辑回归模型的优化原理。

逻辑回归的交叉熵损失函数求导

定义的交叉熵损失函数为：

J(θ)=−1m∑i=1my(i)log⁡(hθ(x(i)))+(1−y(i))log⁡(1−hθ(x(i))) J(\theta)=-\frac{1}{m} \sum_{i=1}^{m} y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right) J(θ)=−m1​i=1∑m​y(i)log(hθ​(x(i)))+(1−y(i))log(1−hθ​(x(i)))
其中：
log⁡hθ(x(i))=log⁡11+e−θTx(i)=−log⁡(1+e−θTx(i))log⁡(1−hθ(x(i)))=log⁡(1−11+e−θTx(i))=log⁡(e−θTx(i)1+e−θTx(i))=log⁡(e−θTx(i))−log⁡(1+e−θTx(i))=−θTx(i)−log⁡(1+e−θTx(i)) \log h_{\theta}\left(x^{(i)}\right)=\log \frac{1}{1+e^{-\theta^{T} x^{(i)}}}=-\log \left(1+e^{-\theta^{T} x^{(i)}}\right)\\ \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)=\log \left(1-\frac{1}{1+e^{-\theta^{T} x^{(i)}}}\right)=\log \left(\frac{e^{-\theta^{T} x^{(i)}}}{1+e^{-\theta^{T} x^{(i)}}}\right)\\ =\log \left(e^{-\theta^{T} x^{(i)}}\right)-\log \left(1+e^{-\theta^{T} x^{(i)}}\right)=-\theta^{T} x^{(i)}-\log \left(1+e^{-\theta^{T} x^{(i)}}\right) loghθ​(x(i))=log1+e−θTx(i)1​=−log(1+e−θTx(i))log(1−hθ​(x(i)))=log(1−1+e−θTx(i)1​)=log(1+e−θTx(i)

最低0.47元/天 解锁文章
逻辑回归交叉熵推导及其求偏导
weixin_42065178的博客
05-25 1819
逻辑回归虽然叫做回归，但是它实际上做的是分类任务。以下是逻辑回归的一些基础知识。 1. 交叉熵推导 Sigmoid公式为： g(z)=11+e−zg(z)=\frac{1}{1+e^{-z}}g(z)=1+e−z1​ 图像为： 因为Sigmoid函数的定义域为（−∞-\infty−∞,+∞+\infty+∞）,值域为（0,1），概率正好也是这个区间，因此很适用于二分类问题。z相当于线性回归中的预测值，将其输入Sigmoid函数中就可以得到预测概率，有以下公式： （1） 其中： （2） 相当于线性回归中拟合
交叉熵代价函数(损失函数)及其求导推导 (Logistic Regression)
热门推荐
jasonzzj的博客
07-25 11万+
前言 交叉熵损失函数 交叉熵损失函数的求导 前言 说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1my(i)log⁡(hθ(x(i)))+(1−y(i))log⁡(1−hθ(...
逻辑回归交叉熵损失函数梯度推导过程
Cjjkstra的博客
10-27 2006
逻辑回归交叉熵损失函数梯度推导过程问题描述推导过程 问题描述 对逻辑回归交叉熵损失函数 J(θ)=−∑i=1m[yiln⁡yi^+(1−yi)ln⁡(1−yi^)]J(\bm{\theta})=-\sum_{i=1}^{m}\left[y_i\ln\hat{y_i}+(1-y_i)\ln\left(1-\hat{y_i}\right)\right]J(θ)=−i=1∑m​[yi​lnyi​^​+(1−yi​)ln(1−yi​^​)] 求梯度，其中 mmm 为样本个数，yiy_iyi​ 为第 iii 个样本的
大白话5分钟带你走进人工智能-第十七节逻辑回归之交叉熵损失函数概念(2)
L先生AI课堂
04-29 1258
第十七节逻辑回归之交叉熵损失函数概念(2) 上一节中我们讲解了逻辑回归是做分类的原因，本节的话我们讲解逻辑回归的损失函数-交叉熵损失函数。逻辑回归，是要做分类的，最重要的是要去分界，这个逻辑回归它是怎么找分界？首先它有回归两个字，我们可以转成另外两个字，拟合。所以逻辑回归找...
交叉熵代价函数(损失函数)及其求导推导
qq_39396437的博客
04-15 511
交叉熵代价函数(损失函数)及其求导推导前言交叉熵损失函数交叉熵损失函数的求导前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1my(i)log⁡(hθ(x(i)))+(1−y(i))log...
Softmax回归交叉熵损失函数求导
weixin_42717395的博客
12-04 420
softmax函数的表达式：ai=ezi∑kezka_{i}=\frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}ai​=∑k​ezk​ezi​​ 交叉熵 损失函数：C=−∑iyiln⁡aiC=-\sum_{i} y_{i} \ln a_{i}C=−∑i​yi​lnai​ 根据复合函数求导法则：∂C∂zi=∑j(∂Cj∂aj∂aj∂zi)\frac{\partial C}{\p...
交叉熵（cross-entropy）损失函数求导过程推导
河山入梦来的博客
07-01 2万+
交叉熵（cross-entropy）损失函数求导过程推导1. 什么是交叉熵？1.1 熵1.2 KL散度1.3 交叉熵2. 关于softmax函数3. 推导过程3.1 关于softmax的求导3.2 关于cross-entropy的求导功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Smarty...
逻辑回归模型笔记整理1 - 从概念到推导交叉熵损失函数
Sevieryang/FinTech/Statistics/Quant
01-18 1664
算法描述 逻辑回归，我们不要被其名字所误导，实际上，逻辑回归是一个分类算法。其优点在于，逻辑回归不仅能够进行分类，而且还能够获取属于该类别的概率。这在现实中是非常实用的。例如，某人患病的概率，明天下雨的概率等。 算法的分类思想 逻辑回归实现分类的思想为：将每条样本进行“打分”，然后设置一个阈值，达到这个阈值的，分为一个类别，而没有达到这个阈值的，分为另外一个类别。对于阈值，比较随意，划分为哪个类别...
【机器学习-11】 逻辑回归的-交叉熵损失函数
最新发布
wangshangshang09的博客
03-29 953
梯度下降的求导过程是针对逻辑回归的**交叉熵损失函数**的推导
交叉熵损失函数求导与Softmax函数求导
十一月廿七风雨大作
01-27 9242
前情提要。
交叉熵损失函数的推导
oldlybaby的博客
08-22 2906
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、交叉熵是什么？二、解决sigmoid激活函数的问题1.sigmoid损失函数存在的问题2.交叉熵的引入2.读入数据总结 前言 最近在学习自然语言处理，其中大量模型涉及到了用softmax层作为输出，再用交叉熵（cross-entropy loss）作为损失函数。 在此回忆一下交叉熵损失函数，并从3个方面： 为了解决sigmoid激活函数的问题 从极大似然估计推导 从信息论推导 推导其由来。 提示：以下是本篇文章正文内
softmax交叉熵损失函数求导
qq_33871546的博客
06-15 410
softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。 softmax函数的公式是这种形式： 则对于损失函数 计算成本的梯度 ...
关于逻辑回归损失和交叉熵
qq_28797653的博客
07-12 1069
关于逻辑回归的损失函数和交叉熵损失的一些看法
交叉熵损失函数及其导数
2401_86968005的博客
02-23 915
交叉熵损失函数（Cross-Entropy Loss）是分类问题中常用的损失函数，特别是在多类分类问题中。L−ylogy​1−ylog1−y​)]其中，y是真实标签（0或1），y​是模型预测的概率（介于0和1之间）。L−i1∑C​yi​logy​i​其中，( C ) 是类别的数量，( y_i ) 是第 ( i ) 类的真实标签（one-hot编码），( \hat{y}_i ) 是模型预测的第 ( i ) 类的概率。
简单易懂的softmax交叉熵损失函数求导
zjchenchujie的博客
07-03 374
转帖：https://blog.csdn.net/qian99/article/details/78046329
逻辑回归的损失函数求导
01-09
### 逻辑回归损失函数求导过程解释 对于逻辑回归而言，其核心在于通过最大化似然估计来找到最优参数 \(\theta\)。为了实现这一目标，在实践中通常会最小化负对数似然函数，即所谓的对数损失函数或交叉熵损失函数[^3]。 #### 对数损失函数定义 给定数据集 \(D=\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\}\)，其中\(x^{(i)}\) 表示第 \(i\) 个输入特征向量, \(y^{(i)}∈{0,1}\) 是对应的标签，则逻辑回归中的对数损失函数可以表示为： \[l (\theta )= -\frac {1}{m}\sum _{i=1}^{m}[y ^{(i)}\log(h_\theta(x^{(i)}))+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))] \] 这里， - \(h_\theta(x)\) 定义为预测概率：\[h_\theta(x)=g(z)=\frac{1}{1+\exp(-z)}\], 其中 \(z=\theta^Tx\) 上述表达式的目的是衡量模型输出的概率分布与真实标签之间的差异程度；当实际类别为正类时（\(y=1\)），希望模型给出较高的正值响应；反之亦然。因此，此公式能够有效地惩罚错误分类的情况[^4]。 #### 求解梯度 为了应用梯度下降方法更新权重参数 \(\theta_j\) ，需要计算损失函数关于各个参数的偏导数: \[\begin{aligned} \nabla_{\theta_j}J(\theta)&=\nabla_{\theta_j}-\frac{1}{m}\left [\sum_i y^{(i)}\log h_\theta(x^{(i)}) + (1-y^{(i)})\log(1-h_\theta(x^{(i)}))\right ]\\ &=-\frac{1}{m}\sum_i[(y^{(i)}-\hat{y}^{(i)})x_j^{(i)}]\\ \end{aligned}\] 具体来说，对于每一个训练样本 \(i\) 和 特征维度 \(j\) : - 如果 \(y^{(i)}=1\) , 则 \((y^{(i)}-\hat{y}^{(i)})=(1-g(\theta^T x^{(i)}))<0\) 。此时减去一个小于零的数量意味着增加相应的权值以提高正例的可能性； - 反之，如果 \(y^{(i)}=0\) , 那么 \((y^{(i)}-\hat{y}^{(i)})=(-g(\theta^T x^{(i)}))>0\) . 减掉一个大于零的部分将会降低误报率。 综上所述，通过对损失函数进行适当变换并利用链式法则完成对其各分量的一阶微分运算后可得到用于指导迭代调整方向的信息——梯度向量。这使得可以通过不断沿反向传播路径累积误差信号的方式逐步逼近全局最优点[^2]。 ```python def compute_gradient(X, y, theta): m = len(y) predictions = sigmoid(np.dot(X, theta)) error = predictions - y grad = np.dot(X.T, error)/m return grad def sigmoid(z): return 1 / (1 + np.exp(-z)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值