回归模型-简单线性回归

最新推荐文章于 2024-06-23 09:14:46 发布

嘿哈哈哈哈哈哈

最新推荐文章于 2024-06-23 09:14:46 发布

阅读量1.3k

点赞数

分类专栏：机器学习文章标签：机器学习算法 python 人工智能深度学习

本文链接：https://blog.csdn.net/m0_46698362/article/details/119593187

版权

机器学习专栏收录该内容

12 篇文章 0 订阅

订阅专栏

本文介绍了线性回归模型的基本概念，包括一元线性回归和多元线性回归的公式，并阐述了如何通过最小二乘法寻找最优参数。讨论了实际数据可能的非线性问题以及模型诊断指标R2。此外，还提到了过度拟合问题和解决策略，如正则化。同时，概述了线性回归模型的几个关键假设。

摘要由CSDN通过智能技术生成

在一个回归模型中，我们需要关注或预测的变量叫做因变量，我们选取的用来解释因变量变化的变量叫做自变量。

一元线性回归模型

y=w₀+w₁x+ε，其中w₀，w₁为回归系数，ε为随机误差项，假设ε~N(0,σ²),则随机变量y~N(w₀+w₁x,σ²)。

面对一个具体问题，给定样本集合D={(x₁,y₁),…,(x_n.y_n)},我们的目标是找到一条直线y=w₀+w₁x使得所有样本点尽可能落在它的附近。

数据模型为 $(\hat{w_{0}},\hat{w_{1}})=arg min_{(\hat{w_{0}},\hat{w_{1}})}\sum_{i=1}^{n}(y_{i}-w_{0}-w_{1}x_{i})^{2}$
在这里插入图片描述

多元线性回归模型

y=w₀x₀+w₁x₁+w₂x₂+…+w_dx_d+ε
或
y=w^Tx+ε，其中x=（x₁，x₂,…,x_d）为自变量，w=（w₁,w₂,…,w_d）为回归系数。

假设将训练集中的输入特征部分记为n*d维矩阵X，矩阵第一列值全为1，训练数据的输出特征部分写成向量形式y=(y₁，y₂，…，y_n)^T。
在多元线性模型中，输入X对应的模型输出为
$\hat{y}=Xw$
在这里插入图片描述

线性回归的问题

实际数据可能不是线性的
●使用R²等指标进行模型诊断，R²越接近1，证明模型拟合的越好。
在这里插入图片描述
多重共线性
●正则化、主成分回归、偏最小二乘回归
过度拟合问题
当模型的变量过多时，线性回归可能会出现过度拟合问题。假如在房价预测问题中，假设x表示房屋面积，如果将x²，x³等作为独立变量可能出现以下情况
在这里插入图片描述