李航《统计学习方法》第二版第一章(正则防止过拟合)
L1正则化有稀疏性,相当于进行特征选择;L2正则化模型复杂度和参数向量有关,使某些参数为0加了正则化项,变为结构风险最小化要使W限制在一个范围内,变为不等式约束问题不等式约束问题,利用KKT条件加正则化项等价于带约束条件,向量被限制在范围内2、为什么L1正则具有稀疏性?可做特征选择1)从解空间形状看目标损失函数,等值线图;交点取最佳参数坐标轴上的点代表某一轴为0,可使某些参数为0L1正则更容易在顶点取得最优解2)从贝叶斯最大后验概率估计角...
原创
2021-10-24 21:02:13 ·
85 阅读 ·
0 评论