学习笔记(03):第二章：线性回归-回归中的损失函数

最新推荐文章于 2024-04-17 17:55:44 发布
最新推荐文章于 2024-04-17 17:55:44 发布
阅读量193 收藏
点赞数
分类专栏： 研发管理 文章标签： 线性回归 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sbksunbeike/article/details/99670450
版权

立即学习:https://edu.csdn.net/course/play/10178/216912?utm_source=blogtoedu

L1损失 就是真实值与预测值的差的绝对值，

好处是对噪声不敏感，但在0处不可导，优化计算不方便

L2损失 就是真实值与预测值的差的平方

优缺点

Huber损失：当L1的值小于等于某个数时，Huber=L1损失平方的一半

 

sbksunbeike
关注
专栏目录
机器学习线性回归（四）：线性回归的损失函数
汪雯琦的博客
02-24 5985
线性回归的损失函数 假设以波士顿房价为例子，真实的数据之间存在这样的关系 真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率 那么现在呢，我们随意指定一个关系（猜测） 随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34...
机器学习5-线性回归之损失函数
dracularking的竹林小屋
02-03 1160
这个过程是通过迭代优化算法来找到最优参数，使得模型的预测值与实际值之间的均方误差最小。我们通过最小化损失函数来找到最优的参数。这就是对于线性回归的均方误差损失函数的偏导数计算过程。线性回归的目标是找到一条直线，使得预测值与实际值的平方差最小化。会根据这些偏导数的信息，迭代更新参数，直至损失函数收敛到最小值。求解损失函数的过程就是找到能够使损失函数最小化的模型参数。3. 更新参数：使用梯度信息来更新参数，减小损失函数值。2. 计算梯度：计算损失函数对每个参数的偏导数。是学习率，控制每次参数更新的步长。
线性回归：损失函数和假设函数
ccc369639963的博客
03-07 2068
线性回归：损失函数和假设函数 通过前面内容的介绍，我相信你对线性回归算法已经有了初步的认识。那我们应该如何在一大堆数据中求解出“线性方程呢”比如前面提及的房价预测问题？这种问题才是符合实际应用的。数据样本会散落在“线性方程”的周围（下图 2 所示）， 而我们要做就是让线性方程的“直线”尽可能“拟合”周围的数据点。本节我们将从数学角度解析线性回归模型。 假设函数 通过前面知识的学习，我们知道假设函数是用来预测结果的。前面讲述时为了让大家更容易理解“线性回归”，我们以“直线方程”进行了类比讲解，然而线性方程并不
笔记：线性模型：线性回归简介和线性回归中的损失函数
朱小丰的博客
12-12 9455
线性回归简介 - 回归任务 - 线性回归模型 - 回归模型中的预测残差 1回归任务的定义 训练：特点：y是连续值 属于R   学习/目标： 预测：  2回归任务举例  （预测的都是数值型） 根据全球经济形势和石油 产量预测石油价格 根据广告投入预测产品销量 根据房屋属性预测房屋价格 根据降雨量预测水果收成 根据雇员的工作年限和其他 属性预测其薪水 根据学生学习时长预...
线性回归的损失函数
一笔一笔写
03-14 2325
https://blog.csdn.net/Wang_Da_Yang/article/details/78594309?utm_source=blogxgwz7
《机器学习by周志华》学习笔记-线性模型-02对数几率回归与线性判别分析
最新发布
vanilla698的博客
04-17 925
上一节我们考虑了线性模型的回归学习，但是想要做分类任务就需要用到上文中的广义线性模型。当联系函数连续且充分光滑，考虑单调可微函数。多分类与二分类的线性判别分析（LDA）
《机器学习实战》第五章Logistic回归学习笔记.pdf
08-09
Logistic回归是一种广泛应用的分类模型，它通过将线性回归的结果通过Sigmoid函数转换，使得输出值限定在0和1之间，从而适用于二分类问题。《机器学习实战》第五章详细介绍了Logistic回归的原理与实现。 Logistic...
《机器学习（周志华西瓜书）》学习笔记1：第三章-线性模型
学习机器学习
09-09 1905
一、线性回归     线性回归的基本思想是采用对输入样例各个特征进行线性加权的方式得到预测的输出，并将预测的输出和真实值的均方误差最小化。1）如果输入样例只有一个特征，那这个过程就是用一条直线去拟合平面直角坐标系上的点； 2）如果有两个特征，表现在平面直角坐标系上就是用一条直线将用不同标记（如XX和OO）区分的输入样例分割开来；3）如果有两个以上特征，那就会映射到高维空间，用超平面来分割。  ...
机器学习笔记（二）：第三章 线性模型
LuoMin2523的博客
07-19 1182
这章节主要涉及以下内容： 线性回归（line regression） 线性回归试图学得 f=wx+b，使得f=y 基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。 对数几率回归（logit regression） ​​​​​​​这是一种分类学习方法 这种方法的优点1:直接对分类可能性进行建模，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题。 优点2:不仅预测出“类.
机器学习：线性模型学习总结（1）：线性回归
Morganfs的博客
04-18 1816
基于周志华老师的《机器学习》、上一篇学习笔记以及网络的其他资料，对线性模型的这一部分内容进行一个总结。 学习时间：2022.04.17~2022.04.18 文章目录0. 数据预处理1. 用SK-Learn做线性回归模型1.1 线性回归1.2 随机梯度下降执行线性回归1.3 多项式回归1.4 逻辑回归2. 用SK-Learn评价回归模型2.1 回归模型的评价指标2.2 交叉验证的评价指标2.3 过拟合与欠拟合3. 用Sklearn进行网格搜索4. 完整代码 0. 数据预处理 尝试构建了一个可以通用处理的.
损失函数的线性回归
01-10
采用各种损失函数的SVM分类器，可实现对多特征值得分类
损失函数（loss function）PPT
11-11
损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。
损失函数(Loss Function)一文详解-回归问题常见损失函数Python代码实现+计算原理解析
master_hunter的博客
11-01 7103
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识，方便以后我们遇到各类功能不同的损失函数有个清楚的认知，而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能，以及对整个损失函数体系进行深入了解。
【机器学习】线性回归的损失和优化
风口IT猪的成长录
07-13 1151
线性回归的损失和优化线性回归的损失和优化1. 损失函数2. 优化算法2.1 正规方程2.1.1 什么是正规方程2.1.2 正规方程求解举例2.1.3 正规方程的推导推导方式一推导方式二2.2 梯度下降(Gradient Descent)2.2.1 什么是梯度下降2.2.2 梯度的概念2.2.3 梯度下降举例2.2.4 梯度下降（Gradient Descent）公式3. 梯度下降和正规方程的对比3.1 算法选择依据4. 小结 线性回归的损失和优化 学习目标 知道线性回归中损失函数 知道使用正规方程对损失函
机器学习：线性回归之损失函数、正规方程、梯度下降、过拟合和欠拟合、正则化
m0_58475958的博客
07-16 4939
1.线性回归 1.1 定义与公式 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归 通用公式： h(w)=w1x1+w2x2+⋯+wnxn+b=WTX+bh(w)=w_1x_1+w_2x_2+\cdots+w_nx_n+b=W^TX+b h(w)=w1​x1​+w2​x2​+⋯+wn​xn​+b=WTX+b 其中W、X可以理解为矩阵
机器学习—————线性回归、损失函数
weixin_41460135的博客
08-05 1733
文章目录线性回归一元线性回归梯度下降多变量线性回归建立模型多元梯度下降特征缩放（归一化）特征缩放——最大值方法特征缩放——平方均值法损失函数随机梯度下降和‘Mini-batch’梯度下降如何选择： 线性回归 一元线性回归 一元线性回归是分析只有一个自变量（自变量x和因变量y）线性相关关系的方法。 对于一元线性回归(单变量线性回归)来说，学习算法为 y = ax + b 我们换一种写法： hθ(x)...
线性回归的损失函数与逻辑回归的损失函数
热门推荐
wjlucc的专栏
05-02 2万+
一、线性回归损失函数的两种解释线性回归的损失函数是平方损失函数，为什么使用平方的形式，参考：线性回归损失函数为什么要用平方形式，讲得很清楚。 在线性回归中，对于训练数据样本(xi,yi)(x_i,y_i)，我们有如下的拟合直线： yiˆ=θ⋅xi\widehat{y_i}=\theta\cdot x_i 构建的损失函数是： C=∑i=1n(yi−yiˆ)2C=\sum\limits_{i=1
机器学习（11）线性回归（1）理论：损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估（均方差）
great_yzl的博客
09-11 9061
目录 一、线性回归基础理论 定义： 线性关系公式： 单特征线性关系： 双特征平面关系： 其他线性模型： 二、线性回归的损失和优化原理 1、损失函数/最小二乘法 2、优化方法： 2-1、正规方程 1、公式 2、原理 2-2、梯度下降 1、单特征 2、双特征 3、梯度下降过程（单特征） 4、梯度下降过程（双特征） 三、正规方程优化（波士顿房价预测） API 1、获取数据集 2、划分数据集 3、标准化 4、 创建预估器，得到模型 代码 四、梯度下降优...
每天五分钟机器学习：线性回归算法的损失函数是什么？
huanfeng_AI的博客
05-16 1147
本文重点 在上一节课程中讲解了线性回归中的假设函数，本节课程将学习一下损失函数，损失函数的意义是帮助我们把最好的直线模型与我们的数据相拟合。 房价预测的例子 假设函数是这样的线性函数形式： ℎθ(x) =θ0 + θ1x。其中θ0 和 θ1，便是直线在轴上的截距和斜率。 其中θi我们称为模型参数，现在θ0和θ1是未知的，如果我们求出θ0和θ1，那么就求出这个假设函数hθ(x)了。 那么θ0和θ1选择的标准是什么呢？ 这个θ0和θ1的选择的标准是：输入x值，y的值最接近该样本对应的y值，按照这个标准选出来的
机器学习笔记：线性回归与Logistic回归解析
"这篇笔记主要介绍了线性回归、逻辑回归以及一般回归的基本概念和应用，是基于斯坦福大学机器学习课程的学习总结。笔记探讨了如何使用回归方法进行预测和分类，特别是通过线性回归来拟合数据，并且讨论了机器学习的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值