开开_王子的博客

原创 特征缩减技术(shrinkage): lasso和岭回归

1、概述通过对损失函数(即优化目标)加入惩罚项，使得训练求解参数过程中会考虑到系数的大小，通过设置缩减系数(惩罚系数)，会使得影响较小的特征的系数衰减到0，只保留重要的特征。常用的缩减系数方法有lasso(L1正则化)，岭回归(L2正则化)。 关于L1,L2正则化讲解：http://blog.csdn.net/wsj998689aa/article/details/395477712、正则化的目的