深度学习笔记: 最详尽解释线性回归 Linear Regression

最新推荐文章于 2024-09-24 20:25:51 发布

Purepisces

最新推荐文章于 2024-09-24 20:25:51 发布

阅读量1.3k

点赞数 11

分类专栏：机器学习文章标签：深度学习笔记线性回归 python 人工智能机器学习

本文链接：https://blog.csdn.net/weixin_53765658/article/details/140060611

版权

机器学习专栏收录该内容

19 篇文章 1 订阅

订阅专栏

欢迎收藏Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。如果收藏star, 有问题可以随时与我交流, 谢谢大家！

版本1：线性回归

机器学习有许多应用，其中一个主要任务是预测。线性回归使用一个或多个自变量来预测因变量。它假设它们之间存在线性关系。

注意: 线性回归是用于理解和量化变量之间关系的总体过程或方法。

线性回归模型是这种关系的具体数学表示。

模型:

对于具有多个预测变量的线性回归：

$\beta_0 + \beta_1x_1 + ... + \beta_nx_n + \epsilon$

其中：

$y$ ：我们要预测的因变量（或响应变量）。
$x_1, ..., x_n$ ：影响预测的自变量（或预测变量）。
$\beta_0, ..., \beta_n$ ： $\beta_0$ 是截距，而 $\beta_1, ..., \beta_n$ 是表示各自自变量影响的系数。
$\epsilon$ ：误差项，表示观测值和预测值之间的差异。

目标:

最小化观测值和预测值之间的平方差（残差）之和：

平方误差和 (SSE)：

$\text{Minimize} \ \sum_i (\beta_0 + \beta_1 x_{i1} + \ldots + \beta_n x_{in} - y_i)^2$

这个 SSE 作为我们在线性回归中要最小化的损失函数。

简单线性回归：一个示例

考虑以下情景：

$x$ 代表一个自变量，如身高。
$y$ 表示我们要预测的因变量，如体重。

我们的目标是找到一个函数 $g$ ，使得 $y = g (x)$ 。给定一个包含 $x$ 和 $y$ 值的训练数据集，我们的任务是确定这个函数 $g$ 。这种找到合适函数 $g$ 的过程称为回归。

注意: 回归广泛地指建模和分析多个变量的任何方法，重点在于因变量和一个或多个自变量之间的关系。

为了简单起见，我们可以假设 $g$ 是一个线性回归模型：

$\alpha x + \beta$

在这个方程中：

$\alpha$ 是这条线的斜率
$\beta$ 是截距。

在这里插入图片描述

为了得到一个最优模型，我们的任务是选择 $\alpha$ 和 $\beta$ 的值，使实际数据点和预测点之间的平方差最小化。形式上，这个最小化问题可以表示为：

$\text{Min} \ \sum_i (\alpha x_i + \beta - y_i)^2$

达到最小值的必要条件是将梯度设为零：

$\left[ \sum_i 2x_i (\alpha x_i + \beta - y_i), \ 2\sum_i (\alpha x_i + \beta - y_i) \right] = 0$

通过计算，我们得到：

$\alpha = \frac{\sum_i x_i y_i - \sum_i x_i \sum_i y_i}{\sum_i x_i^2 - \left(\sum_i x_i\right)^2}$

$\beta = \frac{1}{n} \sum_i y_i - \alpha \frac{1}{n} \sum_i x_i$

确定 $\alpha$ 和 $\beta$ 的值后，我们可以将它们代入方程 $g (x)$ 中，得到具体的线性回归模型。

线性回归的目标是找到最优参数 $\alpha$ 和 $\beta$ 的值，使 SSE 最小化。为此，我们需要了解 $\alpha$ 和 $\beta$ 的变化如何影响 SSE。

在线性回归中，目标是找到最佳拟合参数（系数） $\alpha$ 和 $\beta$ ，使平方误差和（SSE）最小化。这就是我们对 $\alpha$ 和 $\beta$ 求偏导数的原因。

参考资料:

版本2：数据拟合线 aka 最小二乘法 aka 线性回归

介绍

在线性回归中，我们旨在找到最佳拟合线，该线最小化观测数据点和预测值之间的差异。这个过程称为最小二乘法。

寻找最佳拟合线

为了了解哪条线最适合数据，让我们从一条穿过数据平均 y 值的水平线开始。尽管这可能是最差的拟合，但它是一个好的起点。

我们通过查看这条线与数据点的接近程度来衡量这条线的拟合效果。

然而，如果我们简单地计算 $b-y_1)+(b-y_2)+(b-y_3)+(b-y_4)+(b-y_5)+…$ ，其中 $b-y_4)$ 和 $b-y_5)$ 的值将是负的，这将从总值中减去，并使整体拟合看起来比实际情况更好。

早期研究这个问题时，人们可能尝试过取所有值的绝对值，然后发现这样做使得数学计算变得相当复杂。

为了解决这个问题，我们对每个项取平方以确保所有值为正。结果方程显示数据点到水平线的总距离。这被称为“残差平方和”（SSR），因为残差是实际数据和线之间的差异，我们将这些值的平方相加。

$\text{SSR} = (b - y_1)^2 + (b - y_2)^2 + (b - y_3)^2 + (b - y_4)^2 + \ldots = 24.62$

最小二乘法

为了找到最佳拟合线，我们使用通用线方程 $\cdot x + b$ ，其中 $a$ 是斜率， $b$ 是 y 截距。我们的目标是找到使 SSR 最小化的 $a$ 和 $b$ 值。

$\text{SSR} = \sum_{i=1}^{n} (y_i - (a \cdot x_i + b))^2$

这计算的是线与观测值之间的距离。

由于我们希望得到使平方和最小的线，这种寻找 “a” 和 “b” 最优值的方法称为 “最小二乘法”。

如果我们将残差平方和与线参数的每个可能值绘制在一起，我们将得到一个函数，显示残差如何随不同线的取向变化。为了找到线的最佳取向，我们需要对这个函数求导。导数表示函数在每个点的斜率。参数的最优值（“最小二乘”）出现在斜率为零的地方。本质上，不同线的取向对应于 $a$ （斜率）和 $b$ （截距）的不同值。