分类问题不采用均方误差MSE作为损失函数的根本原因

最新推荐文章于 2024-04-22 16:15:12 发布

我说我糊涂

最新推荐文章于 2024-04-22 16:15:12 发布

阅读量620

点赞数

分类专栏：机器学习基础文章标签：分类机器学习算法

本文链接：https://blog.csdn.net/williamchin/article/details/127353622

版权

分类问题不采用均方误差（MSE）作为损失函数，因为MSE假设样本间独立且预测误差服从高斯分布，而分类问题中输出是概率分布向量，各维度相关，不符合该假设。交叉熵作为描述分布相似度的指标，更适合用于分类任务。

摘要由CSDN通过智能技术生成

关于这个问题，网上一堆帖子，多数是围绕着梯度问题来说的，我提一个更底层的原因：
MSE的假设是样本 ${(x_i, y_i)\}_{i=1}^n$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我说我糊涂

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分类问题不采用均方误差MSE作为损失函数的根本原因

分类问题不使用MSE的本质原因
复制链接

扫一扫

专栏目录

mse均方误差计算公式_为什么分类问题不使用均方误差作为代价函数

weixin_39823017的博客

12-05

2807

导读在神经网络中，回归问题通常都是使用均方误差(mean square erro)MSE作为代价函数，而在分类问题中通常都是选择最大似然函数或softmax作为代价函数，最大似然函数用于二分类，softmax用于多分类，softmax是最大似然函数对于多分类的推广。不知道大家有没有想过，为什么在分类问题中不使用MSE作为代价函数呢？那么这篇文章就让我们来分析一下为什么在分类问题中不使用MSE作为代...

分类问题不使用平方损失函数的原因

BIG SHARK的博客

07-12

2183

一般平方损失函数的公式如下图所示： h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来，模型学习的过程就是优化权重参数，使得J达到近似最小值，理论上这个损失函数是很有效果的，但是在实践中却又些问题，它这个h是激活函数激活后的结果，激活函数通常是非线性函数，例如sigmoid之类的，这就使得这个J的曲线变得很复杂，并不是凸函数，不利于优化，很容易陷入到局部最优解的情况。吴恩达说当激活函数是sigmoid的时候，J的曲线就如下图所示，可以看到这个曲线是很...

参与评论您还未登录，请先登录后发表或查看评论

为什么均方差（MSE）不适合分类问题？交叉熵（cross-entropy）不适合回归问题？

热门推荐

weixin_41888969的博客

04-22

1万+

1.为什么均方差（MSE）不适合分类问题？当sigmoid函数和MSE一起使用时会出现梯度消失。原因如下： (1)MSE对参数的偏导 (2)corss-entropy对参数的偏导由上述公式可以看出，在使用MSE时，w、b的梯度均与sigmoid函数对z的偏导有关系，而sigmoid函数的偏导在自变量非常大或者非常小时，偏导数的值接近于零，这将导致w、b的梯度将不会变化，也就是出现所谓的...

分类问题可以使用MSE(均方误差)作为损失函数吗

u013385018的专栏

03-31

8881

一、. 从损失函数公式本身来说 1. 从损失函数公式的物理含义来说 MSE衡量的是预测值和目标值的欧式距离。而交叉熵是一个信息论的概念，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。所以交叉熵本质上是概率问题，表征真实概率分布与预测概率分布差异，和几何上的欧氏距离无关，在回归中才有欧氏距离的说法，而在分类问题中label的值大小在欧氏空间中是没有意义的。所以分类问题不能用mse作为损失函数

分类时，为什么不使用均方误差而是使用交叉熵作为损失函数

junjian Li

09-18

3749

MSE（均方误差）对于每一个输出的结果都非常看重，而交叉熵只对正确分类的结果看重。例如：在一个三分类模型中，模型的输出结果为（a,b,c)，而真实的输出结果为(1,0,0)，那么MSE与cross-entropy相对应的损失函数的值如下： MSE： cross-entropy：从上述的公式可以看出，交叉熵的损失函数只和分类正确的预测结果有关系，而MSE的损失函数还和错误的分类有关系，该分类...

为什么分类问题不能使用mse损失函数，更容易理解版本

qq_43572514的博客

04-22

650

为了解决分类问题中的梯度传播问题和适应离散标签的特性，常用的损失函数包括交叉熵损失函数、对数损失函数（Logarithmic Loss，Log Loss）等。这些损失函数在分类问题中更常见，能够更好地衡量预测概率分布与真实标签之间的差异，并且在梯度计算和优化过程中更加稳定和有效。

mse.zip_MSE 均方误差_MSE均方误差_mse_数据分类_误差数据

09-22

**MSE（Mean Squared Error）...然而，需要注意的是，对于某些特定的分类问题，直接使用MSE可能不是最优选择，因为分类任务可能更适合使用分类损失函数，如交叉熵损失。因此，根据具体问题选择合适的评估指标至关重要。

计算均方误差MSE信噪比SNR峰值信噪比PSNR绝对平均误差的matlab函数

09-25

本话题主要涉及四个关键的误差衡量标准：均方误差（Mean Squared Error, MSE）、信噪比（Signal-to-Noise Ratio, SNR）、峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）以及绝对平均误差（Mean Absolute Error, ...

MSE_PSNR.rar_MSE image_matlab实现PSNR_信噪比psnr_均方误差_均方误差MSE

07-13

在图像处理领域，MSE（Mean Square Error，均方误差）和PSNR（Peak Signal-to-Noise Ratio，峰值信噪比）是两个重要的质量评估指标，通常用于衡量图像压缩、去噪或传输过程中的失真程度。MATLAB作为强大的数值计算和...

计算均方误差MSE信噪比SNR峰值信噪比PSNR绝对平均误差的matlab函数 .zip

最新发布

07-21

计算均方误差MSE信噪比SNR峰值信噪比PSNR绝对平均误差的matlab函数

为什么多分类使用交叉熵而不是均方差作为损失函数

Lyndon0_0的博客

05-01

2129

首先，需要明确一点：多分类时，目前我们使用交叉熵。原因：想要预测分类结果正确，不需要预测概率完全等于标签概率。但使用均方差时，预测过于严格。因此需要使用更适合衡量两个概率分布差异的测量函数，其中交叉熵是常用的方法。我制作了部分对比的图片，看这个视频应该对理解有帮助。每幅图上的曲线，显示了随着预测准确率的提高，交叉熵损失和均方差损失的变化情况。其中横坐标为准确率，范围在0到1之间，纵坐标为损失。对比的类别数范围在[2, 100]，每个类别使用的样本量是1000组。可以发现，随着预测的类别增多，完

【机器学习】分类时，为什么不使用均方误差而是使用交叉熵作为损失函数

UESTC_201722的博客

05-23

3671

MSE对于每一个输出的结果都非常看重，而交叉熵只对正确分类的结果看重当MSE和交叉熵同时应用到多分类场景下时，（标签的值为1时表示属于此分类，标签值为0时表示不属于此分类），**MSE对于每一个输出的结果都非常看重**，**而交叉熵只对正确分类的结果看重**。例如：在一个三分类模型中，模型的输出结果为（a,b,c)，而真实的输出结果为(1,0,0)，那么MSE与cross-entropy相对应的...

分类问题为什么用交叉熵损失不用 MSE 损失

佚失的诗篇

04-02

5555

本文从概率、梯度和直观三个角度说明为何分类问题使用交叉熵损失而非 MSE 损失

分类问题为什么不使用MSE

Fools_______的博客

01-21

952

1.对于分类问题使用 MSE + sigmoid 会发生梯度弥散现象（即在接近负无穷和正无穷时梯度接近于0） 2.使用Cross Entropy 的梯度信息大于MSE 即收敛速度快 3. 但是有时当Cross Entropy 学习效果不好时可以尝试MSE ...

分类的损失函数为什么用交叉熵而不用MSE？

real_ilin的博客

04-10

2286

在NLP的应用中，分类算法是最常用的算法，而分类算法最常用的损失函数是交叉熵。为什么我们会用交叉熵作为分类算法的标配呢？在模型的训练过程中，最小化交叉熵意味着模型学到了什么？为什么不用均方误差（MSE）作为分类算法的损失函数呢？如果MSE不好，那其他的损失函数，比如合页损失（Hing Loss）呢？交叉熵最小话到底在学什么？博文中介绍了信息熵、KL散度、交叉熵，从信息论的角度解释了为什么可以用交叉熵来作为分类算法的损失函数。在机器学习中，实际上有三个概率分布：真实数据的分布、训练数据的分布、模型学习到

分类问题为什么要使用交叉熵损失函数而不是均方误差

Lavi的专栏

05-30

1万+

假设现在有一个分类问题： feature是2维的向量目标类别有3种一共有4个样本：转者注：上面虽然使用的是Sigmoid函数，其实分类问题使用的是softmax函数，softmax可以看做sigmoid在对分类问题上的推广。转者注：上面的y1′(1−y1′)y'_1(1-y'_1)y1′(1−y1′)是a对z的导数，a是softma...

为什么平方损失函数不适应于分类问题？——从概率论的角度

weixin_45144934的博客

03-25

2954

为什么平方损失函数不适用于分类问题？邱锡鹏教授《神经网络与深度学习》的课后习题特别经典，并且书中并没有解答，非常值得我们思考，今天的这个问题就是出自此书的第二章的习题，想来和大家分享一下本题的一种思路，是从数据分布的角度叙述，本人知识有限不免有错误，希望大家能给予批评和建议，提出您的看法。首先给出平方损失函数（Quadratic-Entropy Loss Function）的数学定义： L(y,f(x;θ))=12(y−f(x;θ))2L(y,f(x; θ)) = \frac{1}{2}(y-f(x;θ

为什么分类问题不能使用mse损失函数

Be busy living or busy dying

05-26

1万+

文章目录起因原因最根本的原因交叉熵损失函数原理另一个次要原因用交叉熵损失函数后还会有梯度消失的问题吗？参考来源链接起因因为最开始听一个老师讲的时候把这个问题将偏了，或者说没有说明根本原因，所以现在这个问题把我搞蒙了。原因最根本的原因在线性回归中用到的最多的是MSE(最小二乘损失函数)，这个比较好理解，就是预测值和目标值的欧式距离。而交叉熵是一个信息论的概念，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预

分类问题为什么要使用交叉熵而不是MSE损失函数

wonengguwozai的博客

11-11

1636

假设现在有一个分类问题： feature是2维的向量目标类别有3种一共有4个样本：上面虽然使用的是Sigmoid函数，其实分类问题使用的是softmax函数，softmax可以看做sigmoid在对分类问题上的推广。 import matplotlib.pyplot as plt import numpy as np A = np.linspace(0, 1, 100) plt.plot(A, A ** 2 * (1 - A)) plt.xlabel("absolute error") p

使用均方误差（MSE）作为损失函数代码

06-26

均方误差（Mean Squared Error, MSE）是一种常用的回归问题中的损失函数，用于衡量模型预测值与实际值之间的平均差异。在编程中，特别是在深度学习框架如TensorFlow、Keras或PyTorch中，MSE通常会在训练神经网络时被用作优化目标。以下是一个使用Python和Keras库（基于TensorFlow）实现MSE作为损失函数的基本示例： ```python import tensorflow as tf from tensorflow.keras import models, layers # 假设我们有一个简单的线性回归模型 model = models.Sequential() model.add(layers.Dense(1, input_shape=(input_dim,))) # input_dim是输入特征的数量 # 编译模型，指定损失函数为MSE model.compile(optimizer='adam', loss='mse') # 假设我们有一些输入数据（X）和对应的目标值（y_true） X = ... y_true = ... # 在训练过程中，调用model.fit()方法，传入训练数据和目标值 model.fit(X, y_true, epochs=num_epochs, batch_size=batch_size) # 如果你想要计算MSE，可以直接这样做 y_pred = model.predict(X) mse_loss = tf.reduce_mean(tf.square(y_true - y_pred)) ``` 在上述代码中，`model.compile(optimizer='adam', loss='mse')`这行就是设置MSE作为损失函数。在`model.fit()`中，模型会根据这个损失函数调整其参数以最小化预测值和真实值之间的差距。