为什么LR模型损失函数使用交叉熵不用均方差？

最新推荐文章于 2023-04-15 11:51:46 发布
最新推荐文章于 2023-04-15 11:51:46 发布
阅读量3.8k 收藏 7
点赞数 4
分类专栏： 机器学习 文章标签： LR 交叉熵
原文链接：https://blog.csdn.net/dpengwang/article/details/96597606
版权

在这里插入图片描述

如果使用均方差作为损失函数

在这里插入图片描述
在这里插入图片描述
所以，如果当前模型的输出接近0或者1时，σ′(z)就会非常小，接近0，使得求得的梯度很小，损失函数收敛的很慢。

如果使用交叉熵作为损失函数

在这里插入图片描述

原文链接：为什么LR模型损失函数使用交叉熵不用均方差？

Lavi_qq_2910138025
关注
专栏目录
机器学习 | 为什么LR模型损失函数使用交叉熵不用均方差？
07-04 689
如果使用均方差作为损失函数 所以，如果当前模型的输出接近0或者1时，σ′(z)就会非常小，接近0，使得求得的梯度很小，损失函数收敛的很慢。 如果使用交叉熵作为损失函数
matlab求均值-方差.zip_matlab_matlab随机点_均方差_平均值函数
07-14
利用MATLAB中的伪随机序列产生函数randn()产生多段1000点的序列，编制一个程序，计算随机信号的数字特征，包括均值、方差、均方值、最后把计算结果平均，绘制数字特征图形。
LR的损失函数是什么？
qq_42440990的博客
04-10 1476
LR：逻辑回归 最近开始了秋招的学习，会陆续发布一些看到的AI面试题。 LR的损失函数是log loss，也就是MLE（最大似然损失函数） 公式：−yilogΠ(xi)−(1−yi)log(1−Π(xi))-y_i logΠ(x_i)-(1-y_i)log(1-Π(x_i))−yi​logΠ(xi​)−(1−yi​)log(1−Π(xi​)) ...
LR回归为什么需用要交叉熵损失而不用均方误差损失？
zlb872551601的博客
12-16 1756
LR回归为什么需用要交叉熵损失而不用均方误差损失？
机器学习--LR逻辑回归与损失函数理解
weixin_44056948的博客
05-16 1582
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： θ∗=argminθ1N∑i=1NL(yi,f(xi;θ))+λΦ(θ) 其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的Φ 一、log对数损失函数（逻...
手搓GPT系列之 - Logistic Regression模型，Softmax模型的损失函数与CrossEntropyLoss的关系
marlinlm的博客
04-15 883
笔者在学习各种分类模型和损失函数的时候发现了一个问题，类似于Logistic Regression模型和Softmax模型，目标函数都是根据最大似然公式推出来的，但是在使用pytorch进行编码的时候，却发现根本就没有提供softmax之类的损失函数，而提供了CrossEntropyLoss，MSELoss之类的。本文将介绍我们在学习LR模型和Softmax模型的时候接触到的目标函数，与实际应用中的经常用到的CrossEntropyLoss函数之间的关系。
交叉熵损失函数.docx
10-23
当我们用 sigmoid 函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢。 4. Log-likelihood Cost log-likelihood cost 是另一种常用的代价函数，常用于 softmax 回归的...
java计算方差、标准差(均方差)实例代码
08-25
Java 计算方差、标准差（均方差）实例代码 在统计学中，方差（Variance）和标准差（Standard Deviation）是两个重要的概念，广泛应用于数据分析、机器学习、信号处理等领域。Java 作为一种流行的编程语言，自然也...
58_线性回归损失函数为什么要用平方形式1
08-03
损失函数是衡量模型预测效果好坏的关键指标，它量化了模型预测值与真实值之间的差异。在线性回归中，最常用的损失函数是平方损失函数，也就是均方误差（Mean Squared Error, MSE）。 平方损失函数的形式为： \[ L ...
LR损失函数推导
01-06
LR的推导 LR逻辑回归是一种监督学习分类算法，其实现了给定数据集到0,1的一种映射。 给定数据集D={(x1,y1),(x2,y2),…,(xm,ym)}，其中(xi,yi)表示第i个样本，其中，xi=(xi1,xi2,…,xin)，即每个数据有n个特征，类别y={0,1}，要求训练数据，将数据分成两类0或1。 假定xi的n个特征为线性关系，即：                                                    这里为了表示简洁，在数据样本xi添加一个特征x0=1，将b作为一维特征。则有：  以上实现了用样本xi的n个特征来表示样本的表达式，现在需要寻找
基于自相关函数相位的频率估计方法方差分析
10-20
《基于自相关函数相位的频率估计方法方差分析》这篇文章主要探讨了在加性高斯白噪声背景下，如何利用自相关函数相位来估计正弦信号的频率，并对其性能进行了深入的分析。作者通过推导相关函数相位噪声的表示式，得出...
为什么LR模型损失函数使用交叉熵不用MSE？
weixin_39769935的博客
05-12 2122
问题引入 大家最熟悉的莫过于LR模型了，LR模型用的激活函数是sigmod，使用的损失函数是交叉熵，但是它为啥不用MSE呢，按理说MSE也可以刻画预测和实际值的偏差大小呀？ 问题解答 LR的基本表达形式如下： hθ(x)=g(θTx)=11+e−θTx{h_\theta }(x) = g({\theta ^T}x) = \frac{1}{{1 + {e^{ - {\theta ^T}x}}}}hθ...
为什么使用交叉熵作为损失函数？
Steve Wang's blog
06-08 2254
如果概括性地回答这个问题，我们其实是希望得到最大似然(maximum likelihood)，使得模型的预测分布与数据的实际分布尽可能相近。而最大化log似然等同于最小化负log似然，最小化负log似然等价于最小化KL散度(相对熵)，KL散度里包含有只与数据集相关而与模型无关的logp^datalog\hat{p}_{data}logp^​data​，这一部分对每个特定数据集来说是一个定值，为了简...
LR为什么不可以用MSE作为损失函数
Matrix_cc的博客
04-19 3093
原因总结： MSE 会有梯度消失现象 MSE 的导数非凸函数，求解最优解困难 证明： 1. 梯度消失公式证明： 令，记为。 只关注其中单项的公式，并简化可得： 可见， 当 h 趋近于 0 时或者趋近于 1 时，该 Loss 的导数都会趋近为 0，从而造成梯度消失现象。 2. 非凸函数公式证明 关注其二阶导数，可以得出其二阶导数矩阵即 Hessian 矩阵不是正定矩阵。...
逻辑回归LR模型简介
MusicDancing的博客
08-04 6629
4. LR与线性回归的区别 1. 都是广义的线性回归，但LR可用于分类，在feature到结果的映射中加入了sigmoid()，实现了非线性。 2. 损失函数: 线性回归 --> 平方损失函数； LR --> 似然函数 3. 预测范围： 线性回归 --> 整个实数域（敏感度一致）； LR --> [0,1] ...
LR为什么用极大似然估计，损失函数为什么是log损失函数（交叉熵）
weixin_30622107的博客
05-10 1041
去今日头条面试没有答上来，回来自己想了想，查了查，把解释写出来，不一定合理。 首先，逻辑回归是一个概率模型，不管x取什么值，最后模型的输出也是固定在（0,1）之间，这样就可以代表x取某个值时y是1的概率 这里边的参数就是θ，我们估计参数的时候常用的就是极大似然估计，为什么呢？可以这么考虑 比如有n个x，xi对应yi=1的概率是pi，yi=0的概率是1-pi，当参数θ取什么值最...
逻辑回归损失函数为什么使用最大似然估计而不用最小二乘法？
Beyond_2016的博客
04-21 5147
逻辑回归函数一般用在分类问题上。实际上也可以用最小二乘，但是最小二乘得到的权重效果比较差。    如果用最小二乘法，目标函数就是差值的平方和,是非凸的，不容易求解，很容易陷入到局部最优。如果用最大似然估计，目标函数就是对数似然函数,是关于（w，b）的高阶连续可导凸函数，可以方便通过一些凸优化算法求解，比如梯度下降法、牛顿法等。...
为什么LR要用对数似然，而不是平方损失？
zhang15953709913的博客
03-21 1972
（1）凸函数的角度https://www.zhihu.com/question/47744216 用平方损失之类的得到的函数不是凸函数 （2）导数的角度 当y_true = 1时，如果f(x)=1, 则dL/dw=0，符合预期 如果f(x)=0, dL/dw=0，不符合预期，得到错误解 ...
分类问题的损失函数为什么一般不用MSE均方差损失函数而用交叉熵？
最新发布
04-25
分类问题的损失函数一般不使用均方差损失函数（MSE）而使用交叉熵损失函数的原因是因为交叉熵能够更好地适应分类任务的特点。 首先，均方差损失函数在分类问题中存在一些问题。均方差损失函数是通过计算预测值与...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值