【线性回归：为什么损失函数要使用均方误差】

最新推荐文章于 2024-03-28 22:22:07 发布
最新推荐文章于 2024-03-28 22:22:07 发布
阅读量2.1k 收藏 6
点赞数
分类专栏： 机器学习 文章标签： 线性回归 概率论 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40012554/article/details/122114748
版权

1、为什么损失函数要使用均方误差？

首先将真实值与预测值之间的误差记为，我们知道线性回归的误差项需要满足四个条件：

  • 误差项服从正态分布；
  • 误差项之间相互独立；
  • 误差项均值为0；
  • 误差项的方差为常数；

假设误差项服从标准正态分布，则概率密度函数为：

在这里插入图片描述

假设m个样本之间相互独立，则给定所有x输出所有真实值y的概率即似然

在这里插入图片描述
取对数似然，
在这里插入图片描述
又因为标准正态分布的均值为0、方差为1，则
在这里插入图片描述
所以，最大化logL相当于最小化
在这里插入图片描述
即误差项在服从高斯分布的假设下，最小化均方差损失函数与极大似然估计本质上是一致的。

这么可爱的你，就关注我一下吧~
在这里插入图片描述

数据分析修炼手册
关注
专栏目录
【机器学习】使用 Gradient Descent Algorithm 的 Linear Regression（梯度下降；线性回归；损失函数；求偏导；均方误差）
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
10-04 740
使用梯度下降的线性回归，示例。
机器学习算法系列（一）：线性回归 （损失函数（均方误差角度，概率分布角度） 正规方程法 梯度下降法求解线性回归）
拙能胜巧
06-28 2657
线性回归损失函数推导（均方误差角度，概率分布角度） 正规方程法 梯度下降法求解线性回归 从均方误差的角度推导线性回归的损失函数 线性回归是一种最基本的机器学习算法。基本形式为： y^=θ0x0+θ1x1+θ2x2+θ3x3+……=θTx \hat{y} = \theta_0x_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+……=\mathbf{\theta^Tx} y...
线性回归模型损失函数为什么是均方差
很吵请安静
07-24 5032
为什么是均方差 直观上看，均方差是表达的是欧几里得距离，表示的是预测点到原来点的距离，这个距离越小越好。 然而，将均方差作为损失函数是通过推导得到的。 首先，线性回归属于普通线性模型，而普通线性回归中的误差项满足下面四个假设： 零均值假设：误差项是期望为零的随机变量，即E(e)=0E(e)=0E(e)=0 不变方差假设：误差项e的方差（用σ2σ^{2}σ2表示）是常数且与 x1,x2,…. 的值...
最小二乘法中损失函数采用均方误差的原因
菜超搬砖日记
03-13 3891
提到均方误差，可能最开始想到的就是求解回归问题的一种损失函数。而最早接触均方误差的时候可能在学习最小二乘法的时候。最小二乘法它通过最小化误差的平方和来寻找数据的最佳函数匹配。那么其背后的原理是什么呢？ 首先从可行性的角度想到的是均方误差函数是光滑函数，能够采用梯度下降算法进行优化。但这似乎不是一个好的解释。而从概率统计的角度来理解，其背后的最终支撑是最小二乘估计假设误差是服从高斯分布的，为什么这...
什么是均方误差损失函数
weixin_35753291的博客
01-05 1147
均方误差损失函数(Mean Squared Error Loss Function)是一种用于回归问题的常见损失函数。它的定义是预测值与真实值的差的平方的平均值。具体来说，假设我们有一个真实值为 y，预测值为 y'，那么均方误差就是 (y - y')^2 的平均值。均方误差损失函数常常用来评估回归模型的性能，并用于模型的优化。 ...
【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE） 均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。
Hali_Botebie的博客
05-06 3465
它也被称为L2 Loss。上图为均方误差函数图，其中目标真值为 100，预测范围在-10000 到 10000 之间，均方 误差损失（Y 轴）在预测值（X 轴）=100 处有最小值，范围为 0~∞。可以看出梯度都与sigmoid函数的梯度有关，如下图所示，sigmoid函数在两端的梯度均接近0，这导致反向传播的梯度也很小，这就这就不利于网络训练，这就是梯度消失问题。导数变化，不稳定，尤其是在早期阶段（损失越大，导数越大），随着导数越来越小， 训练速度变得越来越慢。
58_线性回归损失函数为什么要用平方形式1
08-03
在线性回归中，最常用的损失函数是平方损失函数，也就是均方误差（Mean Squared Error, MSE）。 平方损失函数的形式为： \[ L = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2 \] 其中，\( y_i \) 是第 i 个...
多元回归（拟牛顿法）：使用拟牛顿法最小化成本函数（均方误差）-matlab开发
05-31
拟牛顿法，尤其是其中的Davidon-Fletcher-Powell (DFP) 法和Broyden-Fletcher-Goldfarb-Shanno (BFGS) 法，是优化算法的一种，常用于求解非线性最小化问题，例如在多元回归中最小化成本函数（如均方误差）。...
Python 机器学习 线性回归 梯度下降法优化损失函数
weixin_42098295的博客
02-11 1079
Python 机器学习中，梯度下降法是一种用于优化线性回归模型（以及其他机器学习算法）的损失函数的通用算法。目的是通过迭代地调整模型的参数（权重和截距），以最小化损失函数，例如均方误差（MSE）。梯度下降的基本思想是计算损失函数相对于每个参数的梯度（即偏导数），然后朝着减少损失的方向调整参数。这个过程重复进行，直到损失函数收敛到最小值或达到预定的迭代次数。
从神经网络视角看均方误差与交叉熵作为损失函数时的共同点
pony2046的博客
11-28 1617
缩写: NN: neural network, 神经网络MSE: Mean Squared Error, 均方误差CEE: Cross Entropy Error, 交叉熵误差.(此缩写不是一个conventional缩写) 标记符号: netnet或netineti, 净输出值, net=wTxnet=wTxaa或aiai, 神经元的激活函数输出值: a=f(net)a
线性回归模型的最小均方误差估计
07-25
在未知线性回归模型测量误差的协方差矩阵和非零均值 由非模型化误差及测量设备系统性误差组成 情况下,提出一种回归参数的 “最小均方误差佑计” ,证明了其优 良性。还对稳健估计、测量精度分析 中随机与系统性误差分离、白塞 尔公 式与变量差分法统计随机方差结果不一致等问题 ,作了深入研 究分析。
在深度学习中，损失函数能不能是线性的？
weixin_35754962的博客
01-05 204
是的，在深度学习中，损失函数可以是线性的。 损失函数是用来衡量模型预测值与真实值之间的差距的一种度量方式。它通常是一个非负实值函数，用来表示预测值与真实值之间的误差。在深度学习中，常见的损失函数包括均方误差损失函数、交叉熵损失函数和 hinge 损失函数。 损失函数可以是线性的，也可以是非线性的。例如，均方误差损失函数是一个典型的线性损失函数，而交叉熵损失函数则是一个非线性的损失函数。 ...
线性回归均方误差（MSE）的推导
热门推荐
weixin_42065178的博客
05-24 1万+
刚开始学习机器学习的时候就接触了均方误差（MSE，Mean Squared Error），当时就有疑惑，这个式子是怎么推导的，但是因为懒没有深究。今天看到了唐宇迪老师的机器学习课程，终于理解他是怎么推导的了。 问题描述 我们有工资和年龄两个特征，要预测银行会带宽给我们多少钱。 1. 拟合函数 假设： 年龄：x1x_1x1​ 工资：x2x_2x2​ 年龄的参数：θ1θ_1θ1​ 工资的参数：θ2θ_2θ2​ 那么有拟合函数： （1） 将它转化为矩阵表达形式为： （2） 其中x0全为1。 2. 误差 真实值和预
【推导结果】如何得到 回归均方误差 & 估计系数的标准误
最新发布
weixin_43168119的博客
03-28 4449
对于①参数线性②不存在“严格多重共线性”③随机抽样④严格外生性⑤“球形扰动项”(条件同方差+不存在自相关)五个假定均能够满足时。OLS估计量为BLUE，最优无偏线性估计量。
【线性回归评价指标简介】
武帝为此的博客
12-24 1443
线性回归是统计学中一种常见的方法，用于建立自变量与因变量之间的线性关系模型。在实际应用中，我们常常需要对线性回归模型的性能进行评估，以了解模型的拟合程度和预测能力。本文将介绍线性回归中几种常见的模型评价指标，包括均方误差（Mean Squared Error，MSE）、均方根误差（Root Mean Squared Error，RMSE）以及平均绝对误差（Mean Absolute Error，MAE）。
线性回归算法梳理
cf1169983240的博客
03-29 481
有监督学习和无监督学习有监督学习(带标签):无监督学习(不带标签):泛化能力:过拟合和欠拟合优化方法线性回归及原理:损失函数:(通过求解损失函数的最小值,从而求得我们的参数向量)线性回归的评估指标sklearn库中关于线性回归模型的参数详解 有监督学习(带标签): 由于计算机在学习的过程中不仅有训练数据，而且有训练结果（标签),然后我们开始根据需要建立分类模型,使用训练数据来使得模型的表现最好,这...
机器学习之线性回归
weixin_44153121的博客
02-15 931
线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化。均方误差对应了常用的欧几里得距离，简称欧氏距离（Euclidean distance）。
【机器学习】线性回归（理论）
酱懵静的博客
01-01 2607
线性回归的目的，是根据已知的特征信息 X 和对应的函数值 y ，来寻找一个能尽可能拟合真实情况的回归方程（即求出 θ 向量）。在概率论中，若已知一组观测数据和这组数据服从的分布，我们要如何求出该组数据满足的分布的具体数值呢？一个比较直观的方法是：极大似然估法。
Task1 线性回归
weixin_46629813的博客
11-04 847
线性回归线性回归的基本元素线性回归模型损失函数解析解矢量化加速正态分布与平方损失从线性回归到深度网络 线性回归的基本元素 线性回归模型 加权和 损失函数 误差 解析解 像线性回归这样的简单问题存在解析解，但并不是所有的问题都存在解析解。解析解可以进行很好的数学分析，但解析解的限制很严格，导致它无法应用在深度学习里。 矢量化加速 在训练我们的模型时，我们经常希望能够同时处理整个小批量的样本。为了实现这一点，需要我们对计算进行矢量化，从而利用线性代数库，而不是在Python中编写开销高昂的for循环。 impo
为什么要以均方误差作为损失函数？
02-28
在机器学习中，我们经常需要定义一个损失函数来度量模型的预测与真实值之间的差异。均方误差（Mean Squared Error, MSE）是一种常用的损失函数之一。 以下是选择MSE作为损失函数的几个原因： 1. 可微性：MSE是连续可导的函数，因此我们可以使用梯度下降等优化算法来最小化损失函数并更新模型的参数。 2. 代表性：MSE是一种良好的代表性指标，它对误差的平方进行了求和，因此对于大的误差会有更大的惩罚，这使得MSE对于预测值与真实值之间的较大差异具有敏感性。 3. 容易理解：MSE是一个很直观的指标，它的值越小，意味着模型预测的结果与真实值之间的差异越小。 4. 常用性：MSE是广泛使用的一种损失函数，很多机器学习算法（如线性回归、神经网络等）都使用它作为默认的损失函数。 需要注意的是，MSE并不是适用于所有情况的最佳损失函数。例如，在一些离群值较多的情况下，MSE可能会过度惩罚这些离群值，从而导致模型对整体数据的拟合效果不佳。因此，在特定的问题中选择合适的损失函数非常重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值