如图所示,L2正则项约束后的解空间是圆形,而L1正则项约束的解空间是多边形。显然,多边形的解空间更容易在尖角处与等高线碰撞出稀疏解。
tips:五彩的等高线是凸优化问题中目标函数的等高线;
稀疏性,说白了就是模型的很多参数是0,相当于对模型进行了一次特征选择。
假如参数w是一维的向量,把w的L1范数在x-y轴里展示的结果就是上面的这幅图。
如果我们在线性回归的基础上联合使用了此两个正则,这个模型就是非常著名的ElasticNet。
由于这个模型超出了我们的大纲,不在这里细讲,但如果对这块感兴趣,可以去看一下具体的文章: https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
正则项补充
最新推荐文章于 2022-06-13 19:41:56 发布