本文详细介绍了Lasso回归的推导过程，阐述了其在降低过拟合风险和获取稀疏解的优势。通过Python代码展示了Lasso回归的实现，并应用于人脸识别任务，探讨了不同超参数λ对模型稀疏性的影响。实验结果显示，λ的选择直接影响到模型的稀疏性和预测效果。
推导Lasso回归
一、推导过程
Lasso方法是在普通线性模型中增加 L 1 L_1 L1惩罚项，有助于降低过拟合风险，更容易获得稀疏解，求得的 θ \theta θ会有更少的非零分量。与岭回归的不同在于，此约束条件使用了绝对值的一阶惩罚函数代替了平方和的二阶函数。
Lasso回归原式： arg min θ ∣ ∣ A θ − y ∣ ∣ 2 2 + λ ∣ ∣ θ ∣ ∣ 1 \mathop{\arg\min}\limits_{\theta}||A\theta-y||_2^2+\lambda||\theta||_1 θargmin∣∣Aθ−y∣∣22+λ∣∣θ∣∣1
公式转换为： arg min θ 1 2 ∣ ∣ A θ − y ∣ ∣ 2 2 + 1 2 λ ∣ ∣ W θ ∣ ∣ 2 2 \mathop{\arg\min}\limits_{\theta}\frac{1}{2}||A\theta-y||_2^2+\frac{1}{2}\lambda||W\theta||_2^2 θargmin21∣∣Aθ−y∣∣22+21λ∣∣Wθ∣∣22
= arg min θ 1 2 ( A θ − y ) T ( A θ − y ) + 1 2 λ ( W θ ) T W θ \mathop{\arg\min}\limits_{\theta}\frac{1}{2}(A\theta-y)^T(A\theta-y)+\frac{1}{2}\lambda(W\theta)^TW\theta θargmin2
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
