机器学习笔记（二）线性模型

已于 2022-07-19 00:34:06 修改
阅读量440 收藏
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习
于 2022-07-19 00:33:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61506053/article/details/125862518
版权

目录

第三章 线性模型

0️⃣基本形式

1️⃣线性回归

✏️一元线性回归/univariate linear regression

✏️多元线性回归/multivariate linear regression

✏️广义线性回归模型

2️⃣对数几率回归

3️⃣线性判别分析

4️⃣多分类学习

5️⃣类别不平衡问题

第三章 线性模型

0️⃣基本形式

给定由d个属性描述的示例 x=(x_{1};x_{2};...;x_{d})，其中 x_{i} 是 \mathbf{x} 是第 i 个属性上的取值，线性模型/linear model 试图学得一个通过属性的线性组合来进行预测的函数，即

f(\mathbf{x})=w_{1}x_{1}+w_{2}x_{2}+...w_{d}x_{d}+b

向量形式：

f(\mathbf{x})=w^{\mathbf{T}}\mathbf{x}+b

1️⃣线性回归

给定数据集D=\left \{(\mathbf{x}_{1},y_{1}),(\mathbf{x}_{2},y_{2}),...,(\mathbf{x}_{m},y_{m})\right \}，其中\mathbf{x}_{i}=(x_{i1};x_{i2};...;x_{id})，y_{i}\in \mathbb{R}. “线性回归/linear regression”试图学得一个线性模型以尽可能准确地预测实值输出标记。

💡如何确定 w 和 b 呢？

第二章中说到过均方误差是回归任务中最常用的性能度量，因此让均方误差最小化，即

均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称“欧氏距离/Euclidean distance”。基于均方误差最小化来进行模型求解的方法称为“最小二乘法/least square method”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

✏️一元线性回归/univariate linear regression

 此时使得 E_{(w,b)}=\Sigma _{i=1}^{m}(y_{i}-wx_{i}-b)^{2} 最小化即对 w 和 b 分别求偏导对应零点。

令公式（3.5）为零：

得到 

 令公式（3.6）为零：

 得到

✏️多元线性回归/multivariate linear regression

✏️广义线性回归模型

2️⃣对数几率回归

💡讨论了回归任务，分类任务怎么办？

答案蕴含在式（3.15）的广义线性模型中：只需要找一个单调可微函数将分类任务的真实标记 y 与线性回归模型的预测值联系起来。

 

3️⃣线性判别分析

线性判别分析/Linear Discriminant Analysis（简称LDA）是一种经典的线性学习方法，在二分类问题上因为最早由[Fisher，1936]提出，亦称“Fisher判别分析”。

  

4️⃣多分类学习

5️⃣类别不平衡问题

LabulaH
关注
专栏目录
机器学习中的均方根误差及其应用
KsClang的博客
09-17 624
总结起来，均方根误差是机器学习中常用的性能评估指标之一，用于衡量预测值与实际观测值之间的差异。在机器学习中，我们可以利用均方根误差来评估模型的预测能力，并在模型选择和参数调优过程中进行比较和决策。通过计算均方根误差，我们可以了解模型的平均预测误差大小，从而评估模型对未知数据的泛化能力。在模型选择和调优过程中，我们可以使用均方根误差作为比较不同模型或不同参数配置的指标，选择表现最佳的模型或参数。在本文中，我们将介绍均方根误差的定义、计算方法以及其在机器学习中的应用。均方根误差越小，表示模型的预测能力越好。
机器学习小组知识点1：均方误差(MSE)
热门推荐
Eric2016_Lv的博客
10-14 6万+
均方误差单独扽概念是很简单的，这里只做介绍，更深一步的内容会在后面列出来。 SSE(和方差、误差平方和)：The sum of squares due to error MSE(均方差、方差)：Mean squared error RMSE(均方根、标准差)：Root mean squared error R-square(确定系数)：Coefficient of determination
【机器学习300问】43、回归模型预测效果明明很好，为什么均方根误差很大？
qq_39780701的博客
03-22 1429
回归模型预测效果明明很好，为什么均方根误差很大？原因分析，解决方案。
线性回归模型-误差分析
weixin_42010722的博客
09-29 9825
线性回归误差分析误差分析作用偏差与方差图形定义数学上如何实现的出现这些误差，分别该如何处理呢 误差分析作用 我们在做机器学习模型的时候，训练完模型后，往往需要对模型进行性能评估，进行选择，数值预测模型的评估，有以下的常用评估指标： 均方误差：是最常见的指标，但是容易受到奇异值的影响 平均绝对误差 方均根差 方差偏差 借助图形分析工具 偏差与方差 这里重点解释一下偏差与方差 泛化误差可以分解成偏差的平方加上方差加上噪声。 偏差：度量了学习算法的期望预测和真实结果的偏离程度，刻画了学习算法本身的拟合能力。
机器学习之偏差、方差与均方误差
weixin_42397505的博客
01-12 1326
《机器学习by周志华》学习笔记-线性模型-02对数几率回归与线性判别分析
最新发布
vanilla698的博客
04-17 1055
上一节我们考虑了线性模型的回归学习，但是想要做分类任务就需要用到上文中的广义线性模型。当联系函数连续且充分光滑，考虑单调可微函数。多分类与二分类的线性判别分析（LDA）
《机器学习by周志华》学习笔记-线性模型-01基本形式与线性回归
vanilla698的博客
04-11 860
给定由d个属性描述的示例x：其中每个属性的权重：其中xi是x在第i个属性上的值，线性模型试图学习一个通过属性线性作何来预测的函数，即：用向量形式写成：当w和b的参数学得之后，模型就可以确定。也叫「可理解性」
机器学习入门学习笔记（二）线性模型
chengdong996的博客
07-01 2706
一、基本形式 给定由d个属性描述的示例x=(x1；x2；…；xd)，其中xi是x在第i个属性上的取值。 线性模型(linear model) 是由学习得到的一个通过 属性的线性组合 来进行预测的函数，其基本形式如下： 用向量形式表示为： 其中 w = (w1；w2；…；wd) 是各个属性的权值系数。一旦 w 和 b 学得之后，模型就得以确定。 由于w直观表达了各属性在预测中的重要性，因此线性模型有很好的 可解释性(comprehensibility)。例如：在挑选好西瓜的问题中，最终学得一下的线性函数：
最新版学习笔记—Python机器学习基础教程（4）线性模型（分类）—附完整代码
12-20
本篇学习笔记主要聚焦于线性模型在分类中的应用，包括二分类和多分类问题。 一、用于二分类的线性模型 二分类问题是我们最常见的分类任务之一，目标是将数据分为两个类别。线性模型在这种问题中，通过一个线性函数...
机器学习笔记（二） 线性模型
聆听风雨的博客
03-11 733
1.基本概念 正定矩阵：设M是n阶方阵，如果对任何非零向量z，都有zTMz> 0，其中zT 表示z的转置，就称M正定矩阵 对数几率函数(logistic function)，替代单位阶跃函数，是一种Sigmoid函数，对应的模型是对数几率回归模型，但实际上是一种分类方法 极大似然估计的计算：（1）写出似然函数。（2）求对数并整理。（3）求偏导。（4）求解方程 2.线性回归 3
机器学习——数学基础1，方差&平方差&标准差&均方误差&均方根误差
冰凉冰凉滴
07-12 4609
1.平方差（difference of two squares）         平方差公式，是数学公式的一种，它属于乘法公式、因式分解及恒等式，被普遍使用。平方差指一个平方数或正方形，减去另一个平方数或正方形得来的乘法公式：a²-b²=(a+b)(a-b)。         这里不再做过多介绍，只是防止概混淆。 2.方差（variance/deviation Var）        ...
【转载】MSE（均方误差）、RMSE （均方根误差）、MAE （平均绝对误差）- 机器学习 - 线性回归之模型评估
fmqdzh的博客
08-18 5746
MSE（均方误差）、RMSE （均方根误差）、MAE （平均绝对误差） 1、MSE（均方误差）（Mean Square Error） MSE是真实值与预测值的差值的平方然后求和平均。 范围[0,+∞)，当预测值与真实值完全相同时为0，误差越大，该值越大。 import numpy as np from sklearn import metrics y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0]) y_pred = np.array([1.0, 4
机器学习 从矩阵和概率的角度解释最小均方误差函数
weixin_30516243的博客
04-17 455
最小均方误差函数 之前的讲义里， 我们提到了最小均方误差函数，给出一组有 m 个样本的训练集，我们希望找到合适的参数 θ， 使得预测值 hθ(x) 与目标值尽可能接近。为了估计参数 θ， 我们定义如下的 cost function: J(θ)=12∑i=1m(hθ(xi)−yi)2 这个 cost function 就是最小均方误差函数，第一讲里面，我们用梯...
均方误差（MSE）根均方误差（RMSE）平均绝对误差（MAE）
lighting
01-24 2万+
MSE：Mean Squared Error. 均方误差是指参数的估计值与参数的真实值之差的平方的期望. MSE可以评价数据的变化程度，MSE越小，说明模型的拟合实验数据能力强. (72)MSE=1N∑t=1N(predictedt−label)2" role="presentation" style="position: relative;">MSE=1N
机器学习中的均方根误差、均方误差、平均绝对误差、L1、L2范数介绍
CurryCoder的个人博客
03-12 9083
1.均方根误差 RMSE：计算平方和的根，测量预测向量与目标值向量之间的距离，又称为欧几里得范数,L2范数 2.平均绝对误差 MAE：计算绝对值的总和，对应于L1范数，又称为曼哈顿距离 3.包含n个分量的向量Vk的范数定义为如下所示: 0范数仅给出向量的基数即元素的数量 无穷大范数给出向量中的最大绝对值 ...
最新版学习笔记—Python机器学习基础教程（3）线性模型（回归）—附完整代码
12-20
在机器学习领域，线性模型是一类非常基础且重要的模型，尤其在回归分析中发挥着核心作用。本篇笔记将重点介绍线性模型在回归问题中的应用，包括基本的线性回归、岭回归以及Lasso回归。 1. 用于回归的线性模型 线性...
机器学习笔记(三)线性模型
医疗影像检索
01-17 7418
3.线性模型 3.1基本形式 线性模型（linearmodel）形式简单、易于建模，如果能把问题都用线性模型来刻画，那现今的世界就单调多了，好在我们的宇宙是如此的丰富，以至于需要通过更强大的非线性模型（nonlinear model）来描述。然而，线性模型作为最基本的，再复杂的也都归于最简单，非线性模型在很多情况下都是在线性模型基础上通过引入层级结构或高维映射而来，分治策略思想。下面定义线性模
线性最小均方误差算法（LMSE），最小二乘法（LS）
qq_38023849的博客
11-05 7571
目录 背景 正交投影引理 LMSE算法 LS算法 直线拟合 背景   对于一个系统，在给予一定的输入，那么通常都会产生相对应的输出。在实际的系统中，这样的输出必然伴随着噪声，这样被噪声污染的输出通常是传感器的输出信号，也叫观测信号   同时，如果系统的模型是清晰的，我们可以通过严格的理论计算来得到真实值，通过作差的方式变把噪声去除了。   然而在实际的系统中，我们对整个系统的物理模型通常是未知的或者有一些参数未知，也可能是模型不准确，某些参数值有一定的偏差。因此，我们为了得到真实的信号，就需要利用观测信
机器学习的数学基础（5）：最小均方误差的回归问题
weixin_43014877的博客
12-11 1570
本文详细的介绍了如何利用线性代数的知识建模并解决一个以均方误差为损失函数的回归问题
机器学习的评价指标（二）-SSE、MSE、RMSE、MAE、R-Squared
faithmy509的专栏
07-26 5万+
回归评价指标SSE、MSE、RMSE、MAE、R-Squared 前言 分类问题的评价指标上一篇文章已讲述，那么回归算法的评价指标就是SSE、MSE，RMSE，MAE、R-Squared。下面一一介绍： 一、SSE(和方差) 该统计参数计算的是拟合数据和原始数据对应点的误差的平方和，计算公式如下 SSE越接近于0，说明模型选择和拟合更好，数据预测也越成功。接下来的MSE和RMSE因为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LabulaH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值