交叉熵CE VS MSE

最新推荐文章于 2023-05-02 23:04:15 发布
最新推荐文章于 2023-05-02 23:04:15 发布
阅读量1.1k 收藏 6
点赞数
分类专栏： 机器学习基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daisy0096/article/details/106639092
版权
交叉熵常用于分类任务，因为它衡量的是两个分布之间的距离，适合于伯努利分布的假设；而MSE适合回归任务，要求输入与输出一致，基于高斯分布假设。MSE在分类中可能导致梯度饱和，学习速度减慢，而交叉熵则避免了这个问题，且能更好地反映定性特征。
摘要由CSDN通过智能技术生成

交叉熵CE VS MSE

区别

  • 分类用交叉熵，回归用mse/mae，前者的假设是伯努利分布，后者假设是高斯分布。
  • CE衡量两个分布的距离，MSE衡量两个变量的距离。分类输出为概率分布，MSE更要求的是输入与输出一样，多用于计算两个东西是否一样。
  • 二者对于不同数据点的梯度不同，这种差异决定了其适用于不同的目标任务。CE比MSE更平缓，CE更强调定性特征而MSE更强调定量特征。

交叉熵可以理解为另一种形式的keller散度，而keller散度是用于衡量两个模型的相似程度，对于回归来说，每一个分类可以看成一个单独的模型，如果分类效果好，意味着模型相关性弱，keller散度也小。从这个角度讲，分类一般选择交叉熵。

为什么MSE损失不适合用于分类？

MSE损失函数不适合最后一层含有Sigmoid或Softmax激活函数的神经网络，平方误差损失函数相对于输出层的导数：
δ ( L ) = − ( y − a ( L ) ) f ′ ( z ( L ) ) \delta^{(L)} = -(y-a^{(L)})f^{'}(z^{(L)}) δ(L)=−(

最低0.47元/天 解锁文章
daisy0096
关注
专栏目录
损失函数MSELoss和CELoss
MyHeartWillGoOn
03-27 5048
损失函数 文章目录损失函数含义：标准：常用的两种损失函数均方误差损失函数（MSE）【Mean Square Error Loss】交叉熵损失函数（CS）【Cross Entropy Loss】均方误差损失函数计算公式含义解释代码实现适用范围交叉熵损失函数计算公式含义解释代码实现适用范围 含义： 用于衡量在训练集上模型的输出与真实输出的差异 标准： 损失函数越小，模型输出与真实输出越相似，模型效果越好 常用的两种损失函数 均方误差损失函数（MSE）【Mean Square Error Loss】 交叉
MSE，MAE和CE的区别
lzAllen的博客
11-22 2213
MSE和MAE的区别 异常值 MSE对异常值敏感，因为它的Cost是平方的，所以异常值的loss会非常大，下面的公式中y表示标注，a表示网络预测值。 MAE对异常之不敏感， 不妨设拟合函数为常数，那么MSE就相当于所有数据的均值（列出loss对c求导即可），而MAE相当于所有数据的中位数，所以会对异常值不敏感。 优化效率 MAE不可导而且所有的导数的绝对值都相同，优化时无法确定更新速度， MSE可导，有closed-form解，只需要令偏导数为0即可。 如何选择 因为MSE对异常值敏感
从交叉熵(CE)到Focal Loss(FL)完整解析
root_clive的博客
01-12 4918
本文分为两部分，第一部分总结了交叉熵的定义及推导思路，第二部分总结了Focal Loss(实质上是交叉熵的一种改进)的定义及基本性质。文中的CE指的是交叉熵CrossEntropy，FL指的是Focal Loss。 Reference： 1、https://adventuresinmachinelearning.com/cross-entropy-kl-divergence/ 2、http...
深度学习六 —— 手撕MSE Loss& CE Loss
weixin_43662553的博客
06-14 4532
深度学习六 —— 手撕MSE Loss& CE Loss
回归任务使用二次损失，分类任务使用交叉熵的原因
qq_35985044的博客
09-26 613
MSE是高斯分布的最大似然； CE是多项式分布的最大似然； 对于回归任务 高斯分布的概率密度函数： 假设误差服从均值为零的高斯分布，对可观测样本集Y，其对数似然： 对于分类任务 单标签多分类任务->多项式分布的概率质量函数： 其对数似然： 机器学习中one-hot编码 ​的项乘积为0，只考虑​ ，简化为： 约束条件 一般网络输出后接softmax 所以分类任务用交叉熵损失，回归任务用均方误差。 ...
为什么mse用于回归,交叉熵用于分类（loss函数的选择）以及KL散度和交叉熵的关系
wa_does_the_fox_say的博客
05-02 278
由于mse对w,b偏导与激活函数的导数有关，而分类问题常用的sigmoid这类函数在x较大和较小时梯度趋于0，会梯度消失，so。1.为什么均方差（MSE）不适合分类问题？2.交叉熵不适用于回归问题。
[深度之眼]TensorFlow2.0项目班-原理之损失函数（CE，MSE）
qq_42827473的博客
06-05 697
TF2.0损失函数大全 分类问题常使用交叉熵损失函数（CE,Cross Entropy）表征两个概率分布之间的距离 定义为： 例如一个二分类问题的答案是 y_=(1,0)，预测 y1=(0.6,0.4) ，y2=(0.8,0.2)，哪个预测的更准的？ 数学计算 CE1 = CE((1,0),(0.6,0.4) = -(1*ln0.6 + 0*ln0.4) = 0.511 CE2 = CE((1,0),(0.8,0.2) = -(1*ln0.8 + 0*ln0.2) = 0.223 因为CE2<CE
最大交叉熵matlab实现,交叉熵算法
weixin_35057804的博客
03-22 1162
交叉熵损失函数_计算机软件及应用_IT/计算机_专业资料。1.从方差代价函数说起...演化算法 [C], 王斌; 李元香 4.一种求解抛物型方程的 Monte Carlo 并行算法 [C], 刘芳芳; 刘播; 刘春光 5.一种求解最大团问题的并行交叉熵算法 [J], ......又满足二维最小交叉熵原则;最后,利用二维直 方图的特点推导出新型递推算法搜索最佳...基于遗传算法的二维最小交叉熵 用场...
Pytorch(3):梯度下降，激活函数与loss，反向传播算法，交叉熵，MNIST测试实战
JJJJJJames的博客
02-01 683
1、梯度 梯度是一个反向，函数值变大的方向 在做梯度下降时，自变量和因变量是参数和loss函数，参数的值会沿着梯度的方向即loss值更小的方向更新。 2、learning rate learning rate如果太小，那么梯度下降太慢，计算时间太长 learning rate 太大的话，梯度下降可能会反复在局部最小值两端横跳 让lr在梯度较大时，大一些，在梯度较小时，小一些。 可以在lr上加上每次梯度下降时刻的梯度的平方和再开根号来限制lr的变化：AdaGrad 3、initialization st
分类问题损失函数 – 交叉熵
01-06
参考链接：https://zhuanlan.zhihu.com/p/61944055 信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。公式如下： 相对熵： 又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)从常用于描述样本的真实分布，而q(x)常用于表示预测的分布。KL散度值越小表示两个分布越接近。 公式如下： 交叉熵(cross entropy)： 将KL散度公式进行变形得到： 前半部分就是p(x)的熵，后半部分就是交叉熵： 机器学习中，我们常常使用KL散度来评估pr
MSE（MeanSquaredError） loss 与 CE（CrossEntropyLoss） loss
向上生长的程序媛的博客
01-12 6820
文章目录 前言 一、MSE Loss是什么 二、CE（CrossEntropyLoss） Loss是什么 总结 前言 前两天在论文中看到一篇文章的loss函数形式，在结果中将MSE loss和 CE loss的表现进行了对比，分别采用两种loss函数进行模型评价，我从中得到了一些启发，是不是应该将两个loss函数拉出来好好对比一下呢？说干就干！ 首先，分类问题和回归问题是监督学习的两大种类：分类问题的目标变量是离散的；回归问题的目标变量是连续的数值。神经网络模型的效果及优化的目标是通过损.
为什么均方差（MSE）不适合分类问题？交叉熵（cross-entropy）不适合回归问题？
热门推荐
weixin_41888969的博客
04-22 1万+
1.为什么均方差（MSE）不适合分类问题？ 当sigmoid函数和MSE一起使用时会出现梯度消失。原因如下： (1)MSE对参数的偏导 (2)corss-entropy对参数的偏导 由上述公式可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的...
分类问题为什么不使用MSE
Fools_______的博客
01-21 998
1.对于分类问题 使用 MSE + sigmoid 会发生梯度弥散现象（即在接近负无穷和正无穷时梯度接近于0） 2.使用Cross Entropy 的梯度信息大于MSE 即收敛速度快 3. 但是有时当Cross Entropy 学习效果不好时 可以尝试MSE ...
分类问题为什么要使用交叉熵而不是MSE损失函数
wonengguwozai的博客
11-11 1699
假设现在有一个分类问题： feature是2维的向量 目标类别有3种 一共有4个样本： 上面虽然使用的是Sigmoid函数，其实分类问题使用的是softmax函数，softmax可以看做sigmoid在对分类问题上的推广。 import matplotlib.pyplot as plt import numpy as np A = np.linspace(0, 1, 100) plt.plot(A, A ** 2 * (1 - A)) plt.xlabel("absolute error") p
BCE、CE、MSE损失函数
qq_42251157的博客
05-13 4096
一、BCELoss 代码实现分别提供两种方式：一种是调用官方的nn.BCELoss的API，另一种是自定义函数实现： # 1、使用API import torch import torch.nn as nn torch.manual_seed(15) output = torch.randn([2,3]) print("output:","\n",output) target = torch.tensor([[0,0,1],[1,0,0]],dtype=torch.float32) print("ta
分类问题为什么用交叉熵损失不用 MSE 损失
佚失的诗篇
04-02 5967
本文从概率、梯度和直观三个角度说明为何分类问题使用交叉熵损失而非 MSE 损失
分类损失函数多元分类_二元分类为什么不能用MSE做为损失函数？
weixin_39557087的博客
12-23 397
如果要具体地说的话，那是因为用MSE作为二元分类的损失函数会有梯度消失的问题。给你推导一番：$loss=\sum^{N}_{i}(y_{i}-\sigma(w^{T}x_{i}))^{2}$ ,其中$\sigma(w^{T}x_{i})=\frac{1}{1+exp(-w^{T}x_{i})}$$\frac{\partial loss}{\partial w}=\sum^{N}_{i}(-2...
回归(平方损失)与分类[ ( BCE、CE) 和 (Focal loss) ]
qq_35635885的博客
02-23 5980
回归与分类 平方损失与log损失 log 损失 BCE CE Focal loss
损失函数：损失函数用于衡量神经网络预测值与真实值之间的误差，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）的具体方程式
最新发布
06-10
好的，以下是常见损失函数的具体方程式： 1. 均方误差（MSE）：MSE = (1/n) * sum((y_true - y_pred)^2) 其中，y_true表示真实值，y_pred表示神经网络的预测值，n表示样本数量。 2. 交叉熵（Cross-Entropy）：CE = -sum(y_true * log(y_pred)) 其中，y_true表示真实值的one-hot编码，y_pred表示神经网络的softmax输出值。交叉熵常用于分类问题中，可以用于衡量预测值与真实值之间的差异。 除此之外，还有一些其他的损失函数，如KL散度、Hinge Loss等等，不同的损失函数适用于不同的问题场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值