线性回归与偏置项的作用分析

苏西月

已于 2024-09-18 03:45:34 修改

阅读量769

点赞数 8

文章标签：线性回归算法回归

于 2024-09-18 03:18:03 首次发布

本文链接：https://blog.csdn.net/qq_51011530/article/details/142322000

版权

随便写写，帮助记忆了。有错请指正。资料来源【侵删】：https://www.bilibili.com/video/BV1PN4y1V7d9/?p=3&spm_id_from=pageDriver&vd_source=fe02fe347edc06900dd8e09389ef779d

1. 线性回归的基本模型

线性回归的目标是通过线性方程来拟合一组数据点，从而描述自变量（如年龄、工资等）和因变量（如收入、房价等）之间的关系。其模型可以写成以下形式：

$h_{\theta }(x) = \theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2}$

其中：

$h_{\theta}(x)$ 表示通过线性回归模型预测的输出值（即因变量的估计值）。
$\theta{_{0}}$ 是偏置项（bias），它代表模型的截距（即当所有输入变量为0时，输出的预测值）。
$\theta_{1}, \theta_{2}$ 是模型的参数，分别表示自变量 $x_{1}$ （如年龄）和 $x_{2}$ （如工资）对预测结果的影响。
$x_{1},x_{2}$ 是输入的自变量。

2. 多元线性回归的整体形式

多元线性回归可以推广到多个输入变量（即有多个特征），其通用形式为：

$h_\theta(x) = \sum_{i=0}^{n} \theta_i x_i = \theta^T x$

这表示了一个带有 n 个输入变量（或特征）的线性模型，其中 $\theta^T x$ 是向量形式的表达式，表示参数向量 $\theta$ 和输入向量 $x$ 的内积。这里 $\theta_0$ 仍然是偏置项， $\theta_1, \theta_2, \dots, \theta_n$ 分别表示其他输入变量的系数。

3. 几何解释

在图片中还显示了一个二维平面，其中横轴是 $x_1$ 和 $x_2$ （即两个自变量），纵轴是 $y$ （即因变量，或者说预测的输出值）。红色的点表示数据集中的实际值，而绿色的平面则表示通过线性回归模型拟合出来的预测值。每一个红点和平面之间的垂直距离代表了预测误差（residual），即模型预测值与实际值之间的差异。

4. 偏置项 $\theta_{0 }$ 的具体解释

偏置项 $\theta_0$ 的作用在于提供模型的截距，也就是说它控制着模型在没有输入（即所有输入变量 $x_1, x_2, \dots, x_n$ 都为0）时的输出值。

基础作用 - 移动预测平面：
- 在没有偏置项的情况下，模型的预测函数 $h_\theta(x)$ 是一种通过原点（0, 0）的直线或平面。也就是说，模型只能拟合那些在原点附近的情况。
- 偏置项 $\theta_0$ 的加入可以使模型不再强制通过原点，而是可以向上或向下移动整个预测平面，从而更加灵活地拟合数据。这相当于在几何上平移直线或平面，使其适应数据的分布。
举例： 假设我们研究的是房价与面积之间的关系。如果没有偏置项，那么在所有输入为0的情况下，模型将预测房价也是0（即房价总是随着面积为0时自动为0）。然而，实际上即使没有房子面积（面积为0），房子仍有基础的价格（例如土地价格）。偏置项就帮助模型预测这个基础价格。
微调模型的预测：
- 在多元线性回归中，偏置项常被用于微调模型的预测。假设模型中的所有其他参数已经调整好了，偏置项的作用是在最终的预测值上做一个统一的调整，使得预测值整体更接近真实值。这类似于在最后一步对整个模型输出做一个小的校准。
什么时候进行微调？
- 当模型在训练过程中，发现整体预测与实际值之间存在系统性的偏差时，可以通过调整偏置项来减少这种偏差。例如，若模型的预测结果普遍偏低，那么可以增加偏置项的值，使整个模型输出向上偏移；反之亦然。
偏置项与其他参数的关系：
- 偏置项不同于 $\theta_1, \theta_2, \dots, \theta_n$ 这些与输入变量直接相关的权重。它的调整不影响模型的斜率或特征间的关系，而只影响输出的整体水平。

核心作用：偏置项允许模型能够拟合那些在输入为零时输出不为零的情况，增强了模型的灵活性。
微调：在训练过程中，偏置项被用于统一地调整模型输出的整体位置，特别是当存在系统性偏差时。

5. 判断“模型中的所有其他参数已经调整好了”是否成立

5.1 模型的训练效果

残差分析（Residual Analysis）：你可以通过查看模型的残差（实际值与预测值的差）来判断参数是否调整得当。具体地，残差的分布应该呈现出随机性，也就是残差不应表现出系统性的偏差。如果残差有明显的正或负的趋势，说明模型预测值整体偏高或偏低，这时可能需要通过微调偏置项来校准模型。
- 随机分布：残差图显示的是实际值与预测值之间的差异，如果残差图没有明显的趋势，且数据点围绕0均匀分布，说明模型的其他参数（如 $\theta_1, \theta_2, \dots, \theta_n$ ）已经调整好了，偏置项可以用来微调。
- 系统偏差：如果残差显示出明显的系统偏差，例如所有预测值都普遍偏高或偏低，则偏置项需要调整。

例子：假设你拟合的房价模型预测结果普遍比实际房价低10万，你可以观察到残差图上所有的残差几乎都为负数。这种情况下，说明模型预测值整体偏低，此时偏置项需要调整。

5.2 模型的收敛状态

参数优化的收敛情况：在训练过程中，通常使用梯度下降等优化算法来调整参数。如果在训练结束时，损失函数（如均方误差，MSE）已经基本收敛，并且模型中的其他参数变化很小，这表明参数的调整已经趋于稳定。此时，偏置项可以被视为微调整体预测的关键因子。
- 模型收敛：如果在训练的后期，模型的参数变化幅度很小，损失函数值也趋于稳定，并且收敛在一个较低的值附近，这意味着模型的其他参数已经很好地调整了。
- 校准偏置项：一旦模型的其他参数已经稳定，剩下的任务就是通过调整偏置项来消除整体上的系统性误差。

5.3 损失函数与偏置项的影响

观察偏置项对损失函数的影响：当其他参数已调整好时，单独改变偏置项可以对模型的预测结果产生全局的、统一的影响。如果发现通过微调偏置项能够显著降低损失函数的值（如MSE），这表明模型的整体预测水平确实需要通过偏置项来微调。
- 局部调整：在保持其他参数不变的情况下，调整偏置项应当使损失函数继续下降，直到达到一个最优值。

5.4 交叉验证与测试

在交叉验证或测试集上的表现：你可以通过交叉验证或者使用一个独立的测试集来进一步验证模型参数的有效性。如果在验证集或测试集上，模型表现良好且没有出现明显的过拟合或欠拟合，那么可以认为模型的参数已经调整好了，此时微调偏置项即可。

5.5 定性判断与定量判断的结合

定性判断：通过检查残差图、模型的收敛情况等来直观判断是否其他参数调整完毕，偏置项需要调整。
定量判断：通过观察模型的损失函数、交叉验证误差等定量指标，特别是偏置项调整前后对模型性能的提升程度，来判断是否可以通过偏置项微调模型的整体输出。

要判断“其他参数已经调整好，偏置项用于统一微调”这个假设是否成立，可以通过以下方式：

查看残差是否均匀分布，是否存在系统性偏差；
检查模型收敛状态，看参数和损失函数的变化是否趋于稳定；
通过改变偏置项观察损失函数的变化，判断其对模型输出的全局调整效果；
使用交叉验证或测试集验证模型性能，确保模型在未见数据上表现良好。

6. 误差

真实值和预测值之间肯定是要存在差异的（用 $\varepsilon$ 来表示该误差）。

对于每个样本：

$y^{(i)} = \theta^T x^{(i)} + \varepsilon^{(i)}$

其中：

- $y^{(i)}$ 是第 i 个样本的真实值（True value）。
- $\theta^T x^{(i)}$ 是模型的预测值（Prediction）。
- $\varepsilon^{(i)}$ 是模型的误差项（Error）。

在图中展示了数据点与模型拟合的平面之间的距离，这个距离就是误差。

7. 结论

这个线性回归模型通过调节参数 $\theta$ ，在给定的特征空间中找到一个最佳拟合的平面或超平面，以最小化预测值与实际值之间的误差。这是监督学习中的一种常见回归算法，广泛应用于许多领域的预测问题中。你可以通过最小化误差函数（如均方误差，MSE）来训练这个模型，以确定最优的参数 $\theta$ 。