回归分析为许多机器学习算法提供了坚实的基础。在这篇文章中,我们将总结 10 个重要的回归问题和5个重要的回归问题的评价指标。
一、线性回归的假设是什么
-
线性:自变量(x)和因变量(y)之间应该存在线性关系,这意味着x值的变化也应该在相同方向上改变y值。
-
独立性:特征应该相互独立,这意味着最小的多重共线性。
-
正态性:残差应该是正态分布的。
-
同方差性:回归线周围数据点的方差对于所有值应该相同。
二、什么是残差,它如何用于评估回归模型
残差是指预测值与观测值之间的误差。它测量数据点与回归线的距离。它是通过从观察值中减去预测值的计算机。
残差图是评估回归模型的好方法。它是一个图表,在垂直轴上显示所有残差,在 x 轴上显示特征。如果数据点随机散布在没有图案的线上,那么线性回归模型非常适合数据,否则我们应该使用非线性模型。
三、如何区分线性回归模型和非线性回归模型
两者都是回归问题的类型。两者的区别在于他们训练的数据。
线性回归模型假设特征和标签之间存在线性关系,这意味着如果我们获取所有数据点并将它们绘制成线性(直线)线应该适合数据。
非线性回归模型假设变量之间没有线性关系。非线性(曲线)线应该能够正确地分离和拟合数据。
找出数据是线性还是非线性的三种最佳方法:
-
残差图;
-
散点图;
-
假设数据是线性的,训练一个线性模型并通过准确率进行评估。
四、什么是多重共线性,它如何影响模型性能?
当某些特征彼此高度相关时,就会发生多重共线性。相关性是指表示一个变量如何受到另一个变量变化影响的度量。
如果特征 a 的增加导致特征 b 的增加,那么这两个特征是正相关的。如果 a 的增加导致特征