为什么LR模型损失函数使用交叉熵不用均方差？

最新推荐文章于 2020-05-12 19:49:56 发布
最新推荐文章于 2020-05-12 19:49:56 发布
阅读量568 收藏
点赞数
分类专栏： 机器学习
原文链接：https://blog.csdn.net/dpengwang/article/details/96597606
版权

如果用交叉熵做损失函数，w的梯度是和当前的预测值与实际值的差有关的，没有受到sigmoid函数导数的影响，且真实值与预测值差别越大，梯度越大，更新的速度也就越快，这正是我们想要的。

如果用的是均方差作为损失函数，求得的梯度受到sigmoid函数导数的影响

猫爱吃鱼the
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习 | 为什么LR模型损失函数使用交叉熵不用均方差？
07-04 662
如果使用均方差作为损失函数 所以，如果当前模型的输出接近0或者1时，σ′(z)就会非常小，接近0，使得求得的梯度很小，损失函数收敛的很慢。 如果使用交叉熵作为损失函数
直观理解为什么分类问题用交叉熵损失而不用均方误差损失?
日拱一卒
12-12 4344
文章目录交叉熵损失与均方误差损失损失函数角度softmax反向传播角度参考 交叉熵损失与均方误差损失 常规分类网络最后的softmax层如下图所示，传统机器学习方法以此类比， 一共有KKK类，令网络的输出为[y^1,…,y^K][\hat{y}_1,\dots, \hat{y}_K][y^​1​,…,y^​K​]，对应每个类别的概率，令label为 [y1,…,yK][y_1, \dots, y...
LR回归为什么需用要交叉熵损失而不用均方误差损失？
zlb872551601的博客
12-16 1735
LR回归为什么需用要交叉熵损失而不用均方误差损失？
机器学习使用交叉熵作为损失函数的原因
jiao_mrswang的博客
07-26 2493
 在机器学习中的分类算法中，我们总是最小化交叉熵，因为交叉熵越低，就证明由算法所产生的策略最接近最优策略，也间接证明我们算法所算出的非真实分布越接近真实分布。 https://www.zhihu.com/question/41252833
交叉熵作为损失函数
我是欢乐谷啊~
03-10 368
来源 http://blog.csdn.net/jasonzzj/article/details/52017438
matlab求均值-方差.zip_matlab_matlab随机点_均方差_平均值函数
07-14
利用MATLAB中的伪随机序列产生函数randn()产生多段1000点的序列，编制一个程序，计算随机信号的数字特征，包括均值、方差、均方值、最后把计算结果平均，绘制数字特征图形。
交叉熵损失函数.docx
10-23
当我们用 sigmoid 函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢。 4. Log-likelihood Cost log-likelihood cost 是另一种常用的代价函数，常用于 softmax 回归的...
java计算方差、标准差(均方差)实例代码
08-25
Java 计算方差、标准差（均方差）实例代码 在统计学中，方差（Variance）和标准差（Standard Deviation）是两个重要的概念，广泛应用于数据分析、机器学习、信号处理等领域。Java 作为一种流行的编程语言，自然也...
58_线性回归损失函数为什么要用平方形式1
08-03
损失函数是衡量模型预测效果好坏的关键指标，它量化了模型预测值与真实值之间的差异。在线性回归中，最常用的损失函数是平方损失函数，也就是均方误差（Mean Squared Error, MSE）。 平方损失函数的形式为： \[ L ...
基于自相关函数相位的频率估计方法方差分析
10-20
《基于自相关函数相位的频率估计方法方差分析》这篇文章主要探讨了在加性高斯白噪声背景下，如何利用自相关函数相位来估计正弦信号的频率，并对其性能进行了深入的分析。作者通过推导相关函数相位噪声的表示式，得出...
【机器学习（8）】回归模型的常用评价指标：均方差MSE、均绝对误差MAE、均绝对比例误差MAPE、相关性系数R2
12-22
模型评价：回归模型的常用评价指标 1） 样本误差：衡量模型在一个样本上的预测准确性     样本误差 = 样本预测值 – 样本实际值 2） 最常用的评价指标：均误差方（MSE）     指标解释：所有样本的样本误差的平方...
MMSE.zip_??????_MMSE matlab code_均方差_维纳滤波 mmse_计算MMSE
07-14
计算 MMSE 以及 维纳滤波器方法， 用于维纳滤波器设计以及均方差估计
python时间序列预测，VAR模型，KPPS方差分解，波动效应分析
11-25
时间序列预测，VAR模型，KPPS方差分解，波动效应分析背景是三只指数2000年-2021年的数据，经过数据预处理，VAR模型训练，VAR预测，方差分解，分析得到总波动溢出，方向性溢出和溢入，净溢出，两两溢出等结果
GARCH_异方差时间序列模型_价格预测_matlab
03-08
资源名：GARCH_异方差时间序列模型_价格预测_matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导或者更换。 适合人群：新手及...
机器学习(11)-探秘交叉熵损失函数
Lavi的专栏
01-09 1344
探秘交叉熵损失函数1 前言2 二分类的交叉损失函数形式2.1 交叉熵损失函数的常见形式2.2 交叉损失函数的另一种形式3 Softmax函数与交叉熵损失函数 1 前言 学习机器学习相关的算法的时候会，经常看到交叉熵损失函数。交叉熵损失函数的最常见的形式，学习LR(Logistics Regression)函数的时候，给出的交叉熵损失函数，也是比较容易理解的形式。但是除了LR算法中会接触到交叉熵损失...
为什么用交叉熵作为损失函数？
baidu_15113429的博客
04-11 1772
学习连接一般我们使用平方差作为损失函数，（y^'-y）^2作为损失函数，这种损失函数在进行梯度下降计算的时候会出现梯度弥散，导致学习速率下降，使用交叉熵作为损失函数可以很好的解决这个问题。...
为什么LR模型损失函数使用交叉熵不用MSE？
weixin_39769935的博客
05-12 2084
问题引入 大家最熟悉的莫过于LR模型了，LR模型用的激活函数是sigmod，使用的损失函数是交叉熵，但是它为啥不用MSE呢，按理说MSE也可以刻画预测和实际值的偏差大小呀？ 问题解答 LR的基本表达形式如下： hθ(x)=g(θTx)=11+e−θTx{h_\theta }(x) = g({\theta ^T}x) = \frac{1}{{1 + {e^{ - {\theta ^T}x}}}}hθ...
为什么使用交叉熵损失函数
qq_17478877的博客
07-29 1031
•使用极大似然原理导出交叉熵损失函数减轻了为每个模型设计损失函数的负担，选择了模型p(y|x)就明确了损失函数logp(y|x) •损失函数的梯度必须有足够大的预测性，这样才能很好的指导算法的学习。很多输出单元都会包含一个指数函数，当变量取绝对值非常大的负值时函数会变得饱和（函数变得很“平”），函数梯度变得很小，而负的对数似然能够抵消输出单元中的指数效果。（下面的推导过程说明了使用交叉熵损失函数...
分类问题的损失函数为什么一般不用MSE均方差损失函数而用交叉熵？
最新发布
04-25
分类问题的损失函数一般不使用均方差损失函数（MSE）而使用交叉熵损失函数的原因是因为交叉熵能够更好地适应分类任务的特点。 首先，均方差损失函数在分类问题中存在一些问题。均方差损失函数是通过计算预测值与真实值之间的差异的平方来度量损失，然后求取平均值。然而，在分类问题中，预测值通常是一个概率分布，而不是一个连续的数值。使用均方差损失函数会导致预测值与真实值之间的差异被平方放大，这可能会导致梯度消失或梯度爆炸的问题。 相比之下，交叉熵损失函数更适合分类问题。交叉熵损失函数是通过计算预测值与真实值之间的差异来度量损失。它能够更好地反映出分类任务中类别之间的差异。交叉熵损失函数在计算梯度时能够更好地保留信息，避免了梯度消失或梯度爆炸的问题。 此外，交叉熵损失函数还具有一些其他优点。例如，它能够更好地处理多分类问题，能够更好地处理类别不平衡的情况，而且在训练过程中能够更快地收敛。 综上所述，交叉熵损失函数在分类问题中更常用，因为它能够更好地适应分类任务的特点，并且具有更好的性能和收敛速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值