线性回归中，多重共线性可能导致估计不准确。LASSO回归通过引入惩罚项，使部分参数β趋于0，从而剔除共线性变量。岭回归则通过调整惩罚系数抑制过拟合，但不能直接使β为0。glmnet结合两者的优点，用于广义线性模型的优化。
问题引入
之前分析了线性回归问题的解法，最小二乘回归法，但是对于大多数的实际问题，由于我们要用有限的观测值去估计模型的分布，比如在之前讲线性回归中的例子，给出的样例有100对，而我们建立的模型是一条直线，我们都知道两点确定一条直线，这里有100个点，这种称作过度确定估计，同时很多样例由于各种原因本身存在误差，另一个方面是特征之间相关性很大，说白了就是两个特征之间存在关系，本身可以用一个变量来表示，这样既简化了模型，同时减少特征意味着减小误差，我们现在在线性回归中去想办法优化这个问题。
多重共线性：是指多变量线性回归中，变量之间由于存在高度相关关系而使回归估计不准确。比如虚拟变量陷阱即有可能触发多重共线性问题。
如果样本存在很大误差，那么我们估计到的结果 β 变化就会非常大，估计到的参数的方差也会很大，导致估计不准确。
LASSO回归
LASSO回归的思路是既然会导致 β 变化很大，以及方差很大，那么我们在最小二乘估计的时候把 β 也作为损失函数中优化的一项，然后让 β 的值不能过大
同时在这一项中给一个系数k，就能够调节它的影响，k值越大，则 β 的变化影响很大，然后误差导致共线性的影响减小，我们在不断增大惩罚系数的过程中，画出参数 β
最低0.47元/天 解锁文章
4892
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
