问题引入
之前分析了线性回归问题的解法,最小二乘回归法,但是对于大多数的实际问题,由于我们要用有限的观测值去估计模型的分布,比如在之前讲线性回归中的例子,给出的样例有100对,而我们建立的模型是一条直线,我们都知道两点确定一条直线,这里有100个点,这种称作过度确定估计,同时很多样例由于各种原因本身存在误差,另一个方面是特征之间相关性很大,说白了就是两个特征之间存在关系,本身可以用一个变量来表示,这样既简化了模型,同时减少特征意味着减小误差,我们现在在线性回归中去想办法优化这个问题。
多重共线性:是指多变量线性回归中,变量之间由于存在高度相关关系而使回归估计不准确。比如虚拟变量陷阱即有可能触发多重共线性问题。
如果样本存在很大误差,那么我们估计到的结果 β 变化就会非常大,估计到的参数的方差也会很大,导致估计不准确。
LASSO回归
LASSO回归的思路是既然会导致 β 变化很大,以及方差很大,那么我们在最小二乘估计的时候把 β 也作为损失函数中优化的一项,然后让 β 的值不能过大
同时在这一项中给一个系数k,就能够调节它的影响,k值越大,则 β 的变化影响很大,然后误差导致共线性的影响减小,我们在不断增大惩罚系数的过程中,画出参数 β