线性回归模型及其分析

最新推荐文章于 2024-06-23 09:14:46 发布

Byron309

最新推荐文章于 2024-06-23 09:14:46 发布

阅读量1.4k

点赞数 1

分类专栏：回归分析文章标签：数据回归模型

本文链接：https://blog.csdn.net/Byron309/article/details/77502768

版权

本文详细介绍了线性回归模型的概念，包括一维和多维情况下的线性模型，并通过损失函数阐述了模型的优化目标。讨论了梯度下降法和最小二乘法两种求解线性回归参数的方法，解释了它们的工作原理和计算过程。

摘要由CSDN通过智能技术生成

线性回归模型

假定我们有数据

在坐标轴上显示为
这里写图片描述

这些数据称为训练数据，如果我们希望使用这样的数据，学习一个模型，可以对未知的数据进行预测，这样的模型有很多，最朴素的就是使用线性回归模型，简单来说，数据为二维的情况下，线性回归模型就是一条直线；数据为多维情况下为一个超平面。
对上述数据建立的线性模型，可能的直线为：

这里写图片描述

用这条直线对训练数据进行拟合，并使用直线上坐标的点作为未知数据的预测。

更多的，在多维情况下，线性回归的直观描述如下图：

这里写图片描述

考虑线性模型的数学含义。
我们定义以下符号：

X = (x 1, x 2, . . ., x m) T \in R m \times n

$X=(x_1,x_2, ... ,x_m) ^T∈R^{m×n}$ 表示数据矩阵，其中

xi∈Rn $x_i∈R^n$ 表示一个

n $n$ 维度长的数据样本；

输入实例 $x$ 的特征向量为

x = (x (1), x (2), \dots, x (n)) T

$x=(x^{(1)},x^{(2)},…,x^{(n)})^T$

x(i) $x^{(i)}$ 表示

x $x$ 的第

i $i$ 个特征，注意

x(i) $x^{(i)}$ 和

xi $x_i$ 不同，

xi $x_i$ 表示为对各输入变量中的第

i $i$ 个,即

x i = (x (1) i, x (2) i, \dots, x (n) i) T

$x_i=(x^{(1)}_i,x^{(2)}_i,…,x^{(n)}_i)^T$

数据的label表示为：

y = (y 1, y 2, . . ., y m) T \in R m

$y=(y_1,y_2,...,y_m)^T∈R^m$
则训练集可以表示为:

T = {(x 1, y 1), (x 2, y 2), \dots (x m, y m)}

$T=\{(x_1, y_1),(x_2, y_2),…(x_m, y_m)\}$

假设有特征系数向量：

w = (w 0, w 1, w 2, . . ., w n) T

$w=(w_0,w_1,w_2,...,w_n)^T$
则可得到线性回归模型的数学表示：

f (x i) =

关注