机器学习回归模型相关重要知识点总结

回归分析为许多机器学习算法提供了坚实的基础。在这篇文章中，我们将总结 10 个重要的回归问题和5个重要的回归问题的评价指标。

一、线性回归的假设是什么

• 线性：自变量（x）和因变量（y）之间应该存在线性关系，这意味着x值的变化也应该在相同方向上改变y值。

• 独立性：特征应该相互独立，这意味着最小的多重共线性。

• 正态性：残差应该是正态分布的。

• 同方差性：回归线周围数据点的方差对于所有值应该相同。

二、什么是残差，它如何用于评估回归模型

残差是指预测值与观测值之间的误差。它测量数据点与回归线的距离。它是通过从观察值中减去预测值的计算机。

残差图是评估回归模型的好方法。它是一个图表，在垂直轴上显示所有残差，在 x 轴上显示特征。如果数据点随机散布在没有图案的线上，那么线性回归模型非常适合数据，否则我们应该使用非线性模型。

三、如何区分线性回归模型和非线性回归模型

两者都是回归问题的类型。两者的区别在于他们训练的数据。

线性回归模型假设特征和标签之间存在线性关系，这意味着如果我们获取所有数据点并将它们绘制成线性（直线）线应该适合数据。

非线性回归模型假设变量之间没有线性关系。非线性（曲线）线应该能够正确地分离和拟合数据。

找出数据是线性还是非线性的三种最佳方法：

1. 残差图；

2. 散点图；

3. 假设数据是线性的，训练一个线性模型并通过准确率进行评估。

四、什么是多重共线性，它如何影响模型性能？

当某些特征彼此高度相关时，就会发生多重共线性。相关性是指表示一个变量如何受到另一个变量变化影响的度量。

如果特征 a 的增加导致特征 b 的增加，那么这两个特征是正相关的。如果 a 的增加导致特征