理解简单线性回归&最优解_损失函数_MSE&扩展到多元线性回归&维度

已于 2024-08-12 23:20:15 修改
阅读量1.2k 收藏 25
点赞数 49
分类专栏： PythonAI # 机器学习 文章标签： 线性回归 算法 回归 机器学习 人工智能
于 2024-08-12 08:18:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ta683280/article/details/141116973
版权

 欢迎来到@一夜看尽长安花 博客，您的点赞和收藏是我持续发文的动力

对于文章中出现的任何错误请大家批评指出，一定及时修改。有任何想要讨论的问题可联系我：3329759426@qq.com 。发布文章的风格因专栏而异，均自成体系，不足之处请大家指正。

    专栏：

文章概述：理解简单线性回归&最优解_损失函数_MSE&扩展到多元线性回归&维度 

关键词：线性回归         最优解        损失函数        MSE        维度

本文目录：

从线性回归开始

连续值和离散值

简单线性回归

最优解

扩展到多元线性回归

多元线性回归

多元线性回归公式

思路：

理解多元线性回归表达式几种写法的原因

理解维度这个概念

维度

从线性回归开始

线性回归是机器学习中有监督机器学习下的一种算法。

回归问题主要关注确定一个唯一的因变量(dependent variable)(需要预测的值)和一个或多个数值型的自变量(independent variables)(预测变量)之间的关系。

  • 需要预测的值：即目标变量，target，y，连续值
  • 预测变量：影响目标变量的因素，predictors，X1...Xn，可以是连续值也可以是离散值

之间的关系：即模型，model，是我们要求解的

连续值和离散值

简单线性回归

前面提到过，算法说白了就是公式，简单线性回归属于一个算法，它所对应的公式。

这个公式中，y是目标变量即未来要预测的值，x是影响y的因素，a,b是公式上的参数即要求的模型。其实a就是咱们的截距，b就是斜率嘛！

所以很明显如果模型求出来了，未来影响y值的未知数就是一个x值，也可以说影响y值的因素只有一个，所以这是算法包含“简单”这个词的原因。

同时可以发现从x到y的计算，x只是一次方，所以这是算法叫“线性”回归的原因。

其实，大家上小学时就已经会解这种一元一次方程了。为什么那个时候不叫人工智能算法呢？

因为人工智能算法要求的是最优解！

y=a+bx

y

x

a

b

已知条件1

11

5

1

2

已知条件2

9

4

1

2

已知条件3

10

4

2

2

看一个美国人发火箭的例子

最优解

Actual value：真实值，即已知的y

Predicted value：预测值，是把已知的x带入到公式里面和猜出来的参数a,b计算得到的

Error：误差，预测值和真实值的差距

最优解：尽可能的找到一个模型使得整体的误差最小，整体的误差通常叫做损失Loss

Loss：整体的误差，loss通过损失函数loss function计算得到

平方均值误差 Loss=MSE

sigma

扩展到多元线性回归

多元线性回归

现实生活中，往往影响结果y的因素不止一个，这时x就从一个变成了n个，X1...Xn

同时简单线性回归的公式也就不在适用了

多元线性回归公式

思路：

上图中，examples就是已知的样本，examples中包含X也包含Y，Y就是outcome已知结果，如果咱们有m条历史记录，就是有m条样本，也就是有m个Y值，或者说Y为包含m个值的一维向量。

同时每条样本的X从X1到Xn有n个影响结果的因素，图中为了简化相当于n=3即有3个影响结果的因素，在机器学习中，我们也会把影响结果的因素叫特征feature，因为有多个所以图里就是features，值得一提的是X0一列，是为了后面可以通过公式计算出截距项而加的，同时会把X0一列所有值设置恒为1，这样X就是m行4列的二维数组即矩阵。

图中ε代表error误差，每条样本预测的值和真实值之间都会有误差，所以有m条样本就对应m个ε值，ε和Y一样是包含m个值得一维向量。

最后图中还出现了β符号，从0到n，n=3，总共有4个，其实细心的你会发现这个正好和特征数量一样，我们可以理解或叫做这是特征的权值，代表对应特征的重要程度，也叫权重，英文weights，进而后面课程中也会用符号W代替β。

举例：

（比如我们要训练一个模型未来判别一个人有多漂亮，给打个分，历史数据是人的一些指标和已知得分，那么如果有1000个人的数据，就是1000个examples，那么m=1000。Y里面就存放1000个已知分数。同时一个人有哪些特征啊？比如有鼻子，有眼睛，有收入，有穿衣服，那么鼻子、眼睛、收入、衣服等就是特征，每个人到底是高鼻梁还是塌鼻子，眼睛什么颜色的，收入情况多少，衣服款式什么样的等就是具体的特征值。我们要算的W权值就是把这些特征所对应的重要程度计算出来，未来就可以拿到一个人的特征值去计算具体的分数了。）

理解多元线性回归表达式几种写法的原因

在多元线性回归中W是一维向量，代表的是W0到Wn，我们也可以用线性代数的方式去表达公式，这时算法要求解的就是这个向量，如果维度很多我们当然需要计算机帮助我们来求解了。

第一种表达

第二种表达

了解矩阵相乘的计算方式就很好理解上面的式子等级与之前的相乘相加!!

理解维度这个概念

维度

举例：

一个不断升高维度得游戏，让大家理解维度的提高对于机器学习的重要性

通常我们会认为我们人类生活在地球上是一个3维空间中，如果加上时间就是4维，比如点是0维，线是一维，面是二维空间，立体空间是3维空间

回归问题

分类问题

@一夜看尽长安花
关注
专栏目录
AI：272-【机器学习算法】从线性到多维：多元线性回归算法的深度解析与应用实践
一键难忘的博客
08-31 3257
多元线性回归（Multiple Linear Regression）是机器学习中最基本且广泛应用的算法之一。尽管它简单易懂，但在实际应用中仍然能解决许多复杂的问题。本篇文章将从零开始，逐步深入地讲解多元线性回归算法的原理，并通过Python代码实例帮助你理解和实现这一算法。
深入解析线性回归：算法原理、应用与Python实战案例
m0_69240837的博客
04-27 1834
通过本文的介绍，我们不仅详细了解了线性回归的基本原理、不同类型的线性回归模型，而且通过具体的Python实现示例，深入探讨了线性回归在实际问题中的应用。线性回归虽然是最基础的预测技术之一，但它的应用范围极广，从经济学到生物统计，从市场分析到社会科学，都能发现它的身影。通过实际案例的分析，我们可以看到，线性回归模型能够为我们提供有价值的洞察，帮助我们预测和解释关键因素对结果变量的影响。
机器学习笔记_多元线性回归
qq_36113917的博客
10-16 795
Ch1 多元线性回归 函数模型 函数形式 f(x)=θ0+θ1x1+⋯+θpxp f(x)=\theta_{0}+\theta_{1} x_{1}+\cdots+\theta_{p} x_{p} f(x)=θ0​+θ1​x1​+⋯+θp​xp​ 向量形式： 通常一个向量指的都是列向量，向量的转置是行向量 f(x)=∑i=0pθixi=θTx=xTθ=[θ0θ1⋮θp][(x0=1),x1,x2,…,xp] f(x)=\sum_{i=0}^{p} \theta_{i} x_{i}=\boldsymbol{\t
【线性回归】线性回归的详细介绍&代码完全实现
艰难困苦，玉汝于成。
08-10 7393
早上没睡醒！又是在梦中被坏女人骗走感情的一天。
多元线性回归改进Ridge&Lasso
weixin_52185313的博客
10-12 1980
多元线性回归改进 – 潘登同学的Machine Learning笔记 文章目录多元线性回归改进 -- 潘登同学的Machine Learning笔记(简单回顾)多元线性回归模型归一化normalization归一化的方法来个小例子试一试？正则化regularization正则项Lasso回归 和 Ridge岭回归L1稀疏L2平滑L1稀疏的应用--特征选择Lasso与Ridge例子L1和L2正则项同时作用 -- ElasticNetElasticNet例子 (简单回顾)多元线性回归模型 总目标：预测
机器学习(三)：实操线性回归案例_实现设备产能预测
无敌小怪兽_Zz的博客
05-23 986
在这篇文章中，我们将深入探讨如何在实际中应用数据科学和机器学习的方法，特别是线性回归模型。首先，我们会对一个设备性能数据集进行详细的脱敏处理，以确保数据使用的安全性。这个过程中，我们将使用Python的Pandas库来进行数据处理。然后，我们将进行数据预处理，包括数据探索、数据清洗、数据探索性分析，以及特征选择。在这个过程中，我们将介绍并实践计算变量相关性和处理多重共线性等重要概念。 之后，我们将使用这份脱敏和预处理后的数据，建立一个线性回归模型，以预测设备在给定条件下的性能。这个过程包括数据准备、模型选
使用PyTorch构建一个简单的线性回归模型，并对数据集进行训练和预测
08-15
- 它通过逐个样本（或小批量样本）计算梯度并更新模型参数来逐渐逼近全局最优解。 #### 三、模型构建过程 1. **数据准备**： - 在本示例中，我们使用了一个简单的一维数据集，其中输入数据`x`为`[1, 2, 3, 4, 5]`...
python学习——线性回归
热门推荐
Annaaphq的博客
08-09 1万+
线性回归模型
python机器学习（三）特征预处理、鸢尾花案例--分类、线性回归、代价函数、梯度下降法、使用numpy、sklearn实现一元线性回归
hwwaizs的博客
07-21 1247
利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
算法刷题：300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组、1143. 最长公共子序列
qq_61936886的博客
09-12 399
如果text1[i - 1] 与 text2[j - 1]不相同，那就看看text1[0, i - 2]与text2[0, j - 1]的最长公共子序列 和 text1[0, i - 1]与text2[0, j - 2]的最长公共子序列，取最大的。但dp[i][0] 和dp[0][j]要初始值，因为 为了方便递归公式dp[i][j] = dp[i - 1][j - 1] + 1;2.递推公式：当A[i - 1] 和B[j - 1]相等的时候，dp[i][j] = dp[i - 1][j - 1] + 1;
Java数据结构（十）——冒泡排序、快速排序
xiaokuer_的博客
09-11 1115
文章介绍了冒泡排序和快速排序，快速排序的内容包括：划分方式、优化策略以及非递归实现
算法基础-约数
qq_65186476的博客
09-11 271
试除法求约数、约数个数、约数之和、最大公约数
深度优先算法，广度优先算法，hill climbing，贪心搜索，A*算法，启发式搜索算法是什么，比起一般搜索法算法有什么区别
mimo_mimo的博客
09-10 1154
A算法通过维护一个优先队列（通常是最小堆），并根据启发式函数（如g(n) + h(n)，其中g(n)是从起点到当前点的实际距离，h(n)是从当前点到目标点的估计距离）来评估节点的优先级。它从图的某个顶点V0开始，依次访问V0的各个未被访问过的邻接点，然后从这些邻接点出发，再依次访问它们的未被访问过的邻接点，直到图中所有已被访问过的顶点的邻接点都被访问到。它从当前的节点开始，和周围的邻居节点的值进行比较，如果当前节点不是最大的，就用最高的邻居节点来替换当前节点，从而实现向“山峰”的高处攀爬的目的。
C语言程序设计-练习篇
最新发布
2402_85207276的博客
09-14 929
·三角形的判断 ·使用指针打印数组内容 ·字符串逆序 ·计算求和 ·打印水仙花数
Codeforces Round 969 (Div. 2) C. Dora and C++ （裴蜀定理）
2302_79440616的博客
09-10 447
取模，这样就能够得到所有数的最简形式（可以当成是让所有数尽可能消去。所以在这时候我们就可以让输入的所有数都去对。那么在取模之后我们现在排序，得到的极差就是。可以想到使用同样是需要给出两个定值的。由于这里给出了a和b两个数，我们。的判断，因为不排除有这种情况存在。，那么这里我们还要进行一次。，这样我们会取到最优解。
leecode100题-双指针-三数之和
kian9one的博客
09-10 418
固定i，即可转换为寻找满足 nums[l]+nums[r]=−nums[i] 的三元组，因为不能包含重复的三元组，以下两个三元组只能取一个，而后我们再考虑其是否满足 nums[l]+nums[r]=−nums[i]。先对数组排序，设一非递减的数组示例和初始三指针位置及名字如下所示。不同的三元组是 [-1,0,1] 和 [-1,-1,2]。移动指针的时候，需要规避连续的重复元素。答案中不可以包含重复的三元组。，判断是否存在三元组。
拥塞控制算法为何失效，网络为何难以测量？
Netfilter
09-14 1804
所以你知道实验室仿真的宇宙第一算法为啥拉了吧，也就不用再问为什么部署了 bbr 却还不如 cubic 了吧，如果你还希望研发一个精准的，普适的端到端算法，我劝你改行去卖皮鞋，至少还有很多经理市场。这和上一篇说的测量系统容量的方法并不矛盾，因为对于网络传输系统而言，系统是动态变化的，在流量部署到系统上并开始传输时，没有全局视图，就不能指望全局公平，留下的 gap 是固有的，没法靠算法弥补。，超级经典的一篇论文，我推荐过不止一次，因此我本文不谈异构问题，说点别的，比如拓扑。对，就是要砸，因为我不干了。
代码随想录算法训练营day18|二叉树06
gyuhyhui的博客
09-10 782
示例 2: 输入: root = [3,5,1,6,2,0,8,null,null,7,4], p = 5, q = 4 输出: 5 解释: 节点 5 和节点 4 的最近公共祖先是节点 5。因为根据定义最近公共祖先节点可以为节点本身。那么我们来说一说，如果 root == q，或者 root == p，说明找到 q p ，则将其返回，这个返回值，后面在中节点的处理过程中会用到，那么中节点的处理逻辑，下面讲解。例如，给定如下二叉树: root = [3,5,1,6,2,0,8,null,null,7,4]
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值