（二）线性回归模型、回归中的损失函数、对损失函数的概率解释

最新推荐文章于 2022-03-07 12:28:56 发布
最新推荐文章于 2022-03-07 12:28:56 发布
阅读量2.5k 收藏 6
点赞数 2
分类专栏： machineLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38664232/article/details/86694889
版权

目录

 

1、什么是回归任务

2、回归中的损失函数、L1损失

3、Huber损失、L2损失

4、损失函数的概率解释<选修>

注：损失函数描述的是预真实值域预测值之间的差异性、正则是减少模型中的过拟合或者说收缩线性回归系数

1、什么是回归任务

    

2、回归中的损失函数、L1损失

    

3、Huber损失、L2损失

    

4、损失函数的概率解释（最佳模型、噪声分布、log似然函数、负log似然损失）

    

 

负log似然损失：

    

 

 

 

 

 

 

 

fly_Xiaoma
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习—————线性回归、损失函数
weixin_41460135的博客
08-05 1704
文章目录线性回归一元线性回归梯度下降多变量线性回归建立模型多元梯度下降特征缩放（归一化）特征缩放——最大值方法特征缩放——平方均值法损失函数随机梯度下降和‘Mini-batch’梯度下降如何选择： 线性回归 一元线性回归 一元线性回归是分析只有一个自变量（自变量x和因变量y）线性相关关系的方法。 对于一元线性回归(单变量线性回归)来说，学习算法为 y = ax + b 我们换一种写法： hθ(x)...
机器学习线性回归（四）：线性回归的损失函数
汪雯琦的博客
02-24 5914
线性回归的损失函数 假设以波士顿房价为例子，真实的数据之间存在这样的关系 真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率 那么现在呢，我们随意指定一个关系（猜测） 随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34...
学习笔记(02):第二章：线性回归-损失函数的概率解释
sbksunbeike的专栏
07-26 126
本章介绍机器学习中的线性模型，并通过案例讲解如何使用线性模型。
线性回归：损失函数和假设函数
ccc369639963的博客
03-07 2022
线性回归：损失函数和假设函数 通过前面内容的介绍，我相信你对线性回归算法已经有了初步的认识。那我们应该如何在一大堆数据中求解出“线性方程呢”比如前面提及的房价预测问题？这种问题才是符合实际应用的。数据样本会散落在“线性方程”的周围（下图 2 所示）， 而我们要做就是让线性方程的“直线”尽可能“拟合”周围的数据点。本节我们将从数学角度解析线性回归模型。 假设函数 通过前面知识的学习，我们知道假设函数是用来预测结果的。前面讲述时为了让大家更容易理解“线性回归”，我们以“直线方程”进行了类比讲解，然而线性方程并不
笔记：线性模型：线性回归简介和线性回归中的损失函数
朱小丰的博客
12-12 9366
线性回归简介 - 回归任务 - 线性回归模型 - 回归模型中的预测残差 1回归任务的定义 训练：特点：y是连续值 属于R   学习/目标： 预测：  2回归任务举例  （预测的都是数值型） 根据全球经济形势和石油 产量预测石油价格 根据广告投入预测产品销量 根据房屋属性预测房屋价格 根据降雨量预测水果收成 根据雇员的工作年限和其他 属性预测其薪水 根据学生学习时长预...
非线性回归,非线性回归模型,matlab
09-10
在非线性回归模型中，我们通常会遇到多种类型的函数，例如： 1. **指数模型**：这类模型基于指数增长或衰减的概念，如指数函数y = a * e^(bx)，其中a是截距，b是增长率或衰减率。 2. **对数模型**：对数模型将因...
1_线性回归模型、GLM1
08-04
在"1_线性回归模型、GLM1"这个主题中，我们将深入探讨线性回归的核心概念。 线性回归的基本形式是通过线性组合输入变量来预测一个连续的输出值。例如，如果我们有一个模型`y = b0 + b1*x1 + b2*x2 + ... + bn*xn`，...
线性回归的通用化概率解释1
08-03
在最基础的形式中，线性回归模型假设目标变量\( y \)是输入变量\( x \)的线性函数，即\( y = \beta_0 + \beta_1x \)，其中\( \beta_0 \)是截距，\( \beta_1 \)是斜率。这种模型简单直观，但在许多实际问题中，输入...
基于Matlab多元参数非线性回归模型多输出高斯过程（源码+说明文档）.rar
最新发布
08-15
多元参数非线性回归模型是一种广泛应用的数据拟合方法，它涉及到复杂的数学模型，用于描述具有多个输入变量和非线性关系的输出数据。在实际应用中，这种模型可以帮助我们理解和预测复杂的系统行为，例如在生物医学、...
数学建模-回归模型的其他函数形式.zip
01-19
"数学建模-回归模型的其他函数形式"这个主题深入探讨了回归模型中除线性回归外的多种函数形态。在实际应用中，这些非线性的回归模型可以更准确地拟合复杂的数据结构，从而提高预测能力。 1. **多项式回归**：当关系...
回归问题中5种常用损失函数
sjokes的博客
11-25 3万+
机器学习的所有算法都需要最大化或者最小化目标函数，在最小化场景下，目标函数又称损失函数。 实际应用中,选取损失函数需要从多个角度考虑，如是否有异常值、算法、求导难度、预测值的置信度等等。 损失函数可分为两大类，分类问题的损失函数和回归问题的损失函数。 本文将对比分析回归问题中最常用的5个损失函数。 1、均方误差(又称MSE、L2损失) 回归问题中最常见的损失函数。如果对所有样本点只给出一个预测...
对线性回归、逻辑回归、各种回归的概念学习
热门推荐
viewcode的专栏
04-17 28万+
回归问题的条件/前提： 1） 收集的数据 2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。 收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形
机器学习第四章 简单线性回归/多元线性回归/损失函数
Aries_yang的博客
11-30 823
理论部分： 代码部分： from myAlgorithm.SimpleLinearRegression import SimpleLinearRegression x = np.array([1.,2.,3.,4.,5.]) y = np.array([1.,3.,2.,3.,5,]) x_predict = np.array([6]) reg = SimpleLin...
线性回归，损失的定义，损失函数与优化方法，用统计学习方法来理解线性回归、损失函数和优化方法，Sklearn使用方法
ck784101777的博客
08-09 4409
目录 1.线性回归 一元线性关系 多元线性关系 2.损失：评估预测结果与真实值的偏差程度 误差累积的结果 总损失计算公式： 损失函数：最小二乘法 3.损失函数的优化方法 4.用统计学习方法来理解线性回归、损失函数和优化方法 5.Sklearn API接口与使用方式 波士顿房价预测案例 参考文档 1.线性回归 线性回归属于监督学习的回归问题的一类，由于回归问题的目标值是连续的，所以线性回归算法的目标是寻找连续的目标值之间的一种趋势，通过获取这种趋势来建立模型。得到测试集后，将特征值
机器学习学习笔记一：线性回归（一）
ZYZYZYZYZYY的博客
11-12 691
线性回归作为监督学习中经典的回归模型之一，是初学者入门非常好的开始。宏观上考虑理解性的概念，我想我们在初中可能就接触过，y=ax，x为自变量，y为因变量，a为系数也是斜率。如果我们知道了a系数，那么给我一个x，我就能得到一个y，由此可以很好地为未知的x值预测相应的y值。这很符合我们正常逻辑，不难理解。那统计学中的线性回归是如何解释的呢？ 对于统计模型线性回归，我想从以下六个方面来展开，并分...
线性回归和逻辑回归损失函数推导
AndrewHR的博客
07-30 7014
线性回归和逻辑回归损失函数推导 @(数据挖掘) 线性回归和逻辑回归损失函数推导 一、线性回归最小二乘loss推导 二、logistics回归加sigmoid原因以及交叉熵损失函数推导 一、线性回归最小二乘loss推导 我们都知道线性回归是机器学习中最简单，使用范围也很广的一个算法，经典且使用。而它的损失函数最小二乘损失，大家也很熟悉，但是为什么要用最小二乘loss呢？正...
线性回归损失函数求解
denghong637573的博客
03-11 1308
引言 上一篇笔记中已经记录了，如何对一个无解的线性方程组\(Ax=b\)求近似解。在这里，我们先来回顾两个知识点： 如何判断一个线性方程组无解：如果拿上面那个方程组\(Ax=b\)举例，那就是向量\(b\)不在矩阵A对应的列空间中，至于列空间的概念，可以参考四个基本子空间那篇笔记 如何对无解的方程组求近似解：根据上一篇笔记如何寻找一个投影矩阵可以有这么一个思路，将向量\(b\)往矩阵\...
对数几率回归模型
lin的博客
11-18 2167
1.对数几率回归 本质是一个神经元。 对数几率回归可以回答Yes-No类的问题。 logistic函数，亦称为sigmod函数。 f(x)=1/(1+exp(-x)) sigmod函数是一个概率分布函数,即给定某个特定输入，该函数将计算输出为“success”的概率。 sigmod函数接收单个输入值。对于多维数据，需要将他们合并为单个值，可利用前面的线性回归模型表达式。 -*-牢记：sigmod...
回归模型常见的损失函数
陨星落云的博客
05-21 2万+
机器学习中的所有算法都依赖于最小化或最大化函数，我们将其称为“目标函数”。最小化的函数组称为“损失函数”。损失函数是衡量预测模型在能够预测预期结果方面的表现有多好的指标。寻找最小值的最常用方法是“梯度下降”。想想这个函数的作用，如起伏的山脉和梯度下降就像滑下山到达最低点。 没有一种损失函数适用于所有类型的数据。它取决于许多因素，包括异常值的存在，机器学习算法的选择，梯度下降的时间效率，易于找到衍生...
线性回归与逻辑回归的损失函数分别是什么
06-01
线性回归和逻辑回归都是常见的回归算法，其损失函数分别如下： 1. 线性回归的损失函数是均方误差（Mean Squared Error, MSE）： $J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2$ 其中，$h_{\theta}(x^{(i)})$ 表示模型预测值，$y^{(i)}$ 表示真实值，$\theta$ 表示模型参数。 2. 逻辑回归的损失函数是交叉熵（Cross Entropy）： $J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\log(h_{\theta}(x^{(i)}))+(1-y^{(i)})\log(1-h_{\theta}(x^{(i)}))]$ 其中，$h_{\theta}(x^{(i)})$ 表示模型预测值，$y^{(i)}$ 表示真实值，$\theta$ 表示模型参数。 可以看到，线性回归和逻辑回归的损失函数不同，线性回归使用的是均方误差，逻辑回归使用的是交叉熵。这是因为线性回归的输出是连续值，而逻辑回归的输出是概率值，需要使用交叉熵来度量预测值和真实值之间的差异。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值