2.8 小结
在本章,我们学习了线性回归,这是一种让我们能在有监督学习环境下拟合线性模型的方法,在这种环境下,我们有一些输入特征和一个数值型的输出。简单线性回归是对只有一个输入特征的情况的命名,而多元线性回归则描述了具有多个输入特征的情况。线性回归是解决回归问题很常用的第一步骤。它假定输出是输入特征的线性加权组合,再加上一个无法化简、符合正态分布、具有0均值和常数方差的误差项。这种模型也假设特征是相互独立的。线性回归的性能可以通过一组不同的衡量指标来进行评价,从更标准的MSE到诸如R2 统计量等其他指标。我们探讨了几种模型诊断和显著性检验方法,它们用于检测从不成立的假设到离群值等问题。最后,我们还讨论了如何用逐步回归进行特征选择,以及利用岭回归和lasso进行正则化。
线性回归模型具有多种优势,包括快速和开销小的参数计算过程,以及易于解释和推断的模型,这是因为它具有形式简单的优点。有很多检验方法可以用来诊断关于模型拟合的问题,并对系数的显著性进行假设检验。总体来说,可以认为它是低方差的一种方法,因为它对于数据中的小误差比较健壮(robust)。就其不足之处而言,因为它作出了非常严格的假设,尤其是输出函数在模型参数里必须是线性的,所以它就会引入很高程度的偏误,对于比较复杂或高度非线性的一般函数,这种方法往往就表现不佳。此外,我们也看到了,当输入特征数量变得很多时,我们就不能依赖于系数的显著性检验。当我们在一个高维特征空间里工作时,这个事实再加上特征之间的独立性假设,就会使线性回归成为相对较差的一种选择。
在下一章,我们会学习逻辑回归,它是一种用于分类问题的重要方法。