【机器学习】线性回归损失函数为什么要用平方形式

已于 2023-01-04 22:56:47 修改
阅读量566 收藏
点赞数
分类专栏： 机器学习 文章标签： 线性回归 算法
于 2023-01-04 22:56:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liufang_imei/article/details/128555869
版权
线性回归中采用平方损失函数而非绝对值损失，主要是因为平方形式与高斯分布下的最大似然估计相一致，且在数学上便于求导和优化。平方损失函数在误差服从正态分布时，等价于最小二乘法，与极大似然估计有内在联系。然而，当误差分布不满足正态时，如分类问题，平方误差可能不是最佳选择，此时常采用交叉熵损失。
摘要由CSDN通过智能技术生成

问题

线性回归损失函数为什么要用平方形式？

问题背景

这是在阿里一面中遇到的问题，当时我的回答是损失函数是是模型预测值与真实值之间的一种距离度量，我们可以计算出每个样本的预测值与真实值之间的距离，全部加起来就得到了所谓的损失函数。而距离的度量可以采用预测值与真实值之间差的绝对值，或者两者之差的平方，当然更高次的也行，只要你喜欢。正如问题所述，为什么我们一般使用的是两者之差的平方而不是两者只差的绝对值呢？其实这与模型的求解相关，举最简单的线性回归为例，如果采用的距离是两者之差的绝对值，那么求解的目标函数如下：
( ω ∗ , b ) =

了解本专栏 订阅专栏 解锁全文 超级会员免费看
FL6123863129
关注
专栏目录
订阅专栏
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
杨秀璋的专栏
07-03 4万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
线性回归损失函数为什么要用平方形式
saltriver的专栏
02-26 2万+
我们在前面的《线性回归》中了解到，对于训练数据样本(xi,yi)({x_i},{y_i})，我们有如下的拟合直线： yˆi=θ0+θ1∙xi{\widehat y_i} = {\theta _0} + {\theta _1} \bullet {x_i} 我们构建了一个损失函数： C=∑i=1n(yi−yˆi)2C = \sum\limits_{i = 1}^n {{{({y_i} - {{\w
线性回归为什么使用平方损失函数
拾遗
06-06 2427
线性回归的模型及假设： ，随机误差服从正态分布（高斯分布） are distributed IID，随机误差是独立同分布的 于是目标变量的条件概率分布： 注意： 整个训练集的似然函数为： 对数似然函数为： 因此，最大化对数似然函数，相当于最小化 ...
机器学习| 面试题：14、线性回归损失函数为什么要用平方形式
Mrrunsen的博客
09-13 1964
问题 线性回归损失函数为什么要用平方形式？ 问题背景 这是在阿里一面中遇到的问题，当时我的回答是损失函数是是模型预测值与真实值之间的一种距离度量，我们可以计算出每个样本的预测值与真实值之间的距离，全部加起来就得到了所谓的损失函数。而距离的度量可以采用预测值与真实值之间差的绝对值，或者两者之差的平方，当然更高次的也行，只要你喜欢。正如问题所述，为什么我们一般使用的是两者之差的平方而不是两者只差的绝对值呢？其实这与模型的求解相关，举最简单的线性回归为例，如果采用的距离是两者之差的绝对值，那么求解的目标函数如下：
均方损失函数为什么需要平方
qq_36001281的博客
09-05 166
均方损失函数，并不是唯一可用的损失函数。为什么这里要选用它呢？如果目的仅是计算损失，把误差的绝对值加起来取平均值就足够了（即平均绝对误差函数）。但是之所以还要平方，是为了让L（w，b）形成相对于w和b而言的凸函数，从而实现梯度下降。凸函数的图像会流畅、连续地形成相对于y轴的全局最低点，也就是说存在着全局最小损失点。当权重为100, 偏置为1时, 损失为： 1613.9121019596591。当权重为5, 偏置为3时, 损失为： 0.00634428903806015。
机器学习笔记01_为什么方差代价函数要使用平方而不直接使用误差的绝对值？（最全解析）
m0_73153984的博客
10-01 630
线性回归模型被假设为其中和 b 被称为模型参数，通过调节合适的和 b 的大小，可以使得预测值更接近真实数据。但是和 b 值的大小，我们可以有很多个选项，那么如何比较不同的和 b 之间，哪一组预测的输出更接近真实数据呢？因此，我们引入了代价函数（Cost fuction）
58_线性回归损失函数为什么要用平方形式1
08-03
线性回归是一种基础而重要的统计学和机器学习方法，它用于建立输入变量（自变量）与输出变量（因变量）之间的线性关系模型。损失函数是衡量模型预测效果好坏的关键指标，它量化了模型预测值与真实值之间的差异。在...
机器学习5-线性回归之损失函数
dracularking的竹林小屋
02-03 1161
这个过程是通过迭代优化算法来找到最优参数，使得模型的预测值与实际值之间的均方误差最小。我们通过最小化损失函数来找到最优的参数。这就是对于线性回归的均方误差损失函数的偏导数计算过程。线性回归的目标是找到一条直线，使得预测值与实际值的平方差最小化。会根据这些偏导数的信息，迭代更新参数，直至损失函数收敛到最小值。求解损失函数的过程就是找到能够使损失函数最小化的模型参数。3. 更新参数：使用梯度信息来更新参数，减小损失函数值。2. 计算梯度：计算损失函数对每个参数的偏导数。是学习率，控制每次参数更新的步长。
机器学习-线性回归整理PPT
12-04
线性回归是一种基础且重要的统计学与机器学习方法，它用于预测一个连续数值型的输出变量，基于一个或多个输入变量。线性回归的核心思想是寻找一条直线（在一维情况下）或超平面（在多维情况下）来最好地拟合数据，这...
非线性模型转换为线性模型&&平滑数据处理
小熊的博客
02-20 1万+
非线性模型转换为线性模型&&平滑数据处理
损失函数为什么用平方形式（二）
saltriver的专栏
08-31 8831
我们在以前谈过《线性回归损失函数为什么要用平方形式》，除了这篇文章中提到的理由外。还有什么依据呢？ 平方形式的损失函数一般为： C=12∑i=1n(yi−yˆi)2C =\frac {1}{2} \sum\limits_{i = 1}^n {{{({y_i} - {{\widehat y}_i})}^2}} 这称为SSE（The sum of squares due to error），误
回归评价指标：均方误差根（RMSE）和R平方（R2）
热门推荐
JasonZhangOO的博客
08-30 17万+
做回归分析，常用的误差主要有均方误差根（RMSE）和R-平方（R2）。RMSE是预测值与真实值的误差平方根的均值。这种度量方法很流行（Netflix机器学习比赛的评价方法），是一种定量的权衡方法。 ””’ 均方误差根 ”’ 过拟合加入L1正则化和L2正则化，岭回归
机器学习 之 线性回归 平方损失函数 和 梯度下降算法 公式推导
A Little Bean
10-18 1598
现在我们有了损失函数，所要做的仅仅就是把损失函数降到最低，以找到最佳的拟合函数。说白了，题目给出红色的叉，我们假设一条 一次函数 （蓝色） 直线，通过不断改变。碗的最低点（损失函数的最小值），即是我们要寻找的最佳拟合时变量。如图（随便在网上找的），平方损失函数即所有的红色的线的平方和。损失函数是用来估量模型的预测值h与真实值y的不一致程度。损失函数即是所有估计值减真实值的平方和。的值，将（蓝色）直线不断逼近真实的直线 （红色）。即损失函数的值越小，拟合的函数就越好。的值，直到收敛，找到最佳拟合函数。
【深度学习】逻辑回归损失函数如果用平方损失有什么问题
UESTC_201722的博客
09-06 2219
特别无奈 逻辑回归的损失函数为啥是交叉熵 我的另一篇博客：逻辑回归为什么使用对数损失函数 逻辑回归为啥不用平方损失 原因很简单：就是会出现梯度消失问题，至于为啥看下面的这个推导（我真是无语！），其他的真的没啥说的了 ...
算法刷题：300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组、1143. 最长公共子序列
最新发布
qq_61936886的博客
09-12 529
如果text1[i - 1] 与 text2[j - 1]不相同，那就看看text1[0, i - 2]与text2[0, j - 1]的最长公共子序列 和 text1[0, i - 1]与text2[0, j - 2]的最长公共子序列，取最大的。但dp[i][0] 和dp[0][j]要初始值，因为 为了方便递归公式dp[i][j] = dp[i - 1][j - 1] + 1;2.递推公式：当A[i - 1] 和B[j - 1]相等的时候，dp[i][j] = dp[i - 1][j - 1] + 1;
算法知识点——常用输入输出数据的方式
5233的博客
09-12 315
除了换行之外，还会清空缓存区，而清空缓存区这件事情会耗时很久，因此为了提高速度，一般直接：cout << “\n”;2、n组输入输出(n不确定）1、n组输入输出(n确定）3、 复杂的输入输出。
Java数据结构（十）——冒泡排序、快速排序
xiaokuer_的博客
09-11 1217
文章介绍了冒泡排序和快速排序，快速排序的内容包括：划分方式、优化策略以及非递归实现
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FL6123863129

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值