内容知乎:深入理解L1、L2正则化 - 知乎 (zhihu.com)
【免费】【一看就懂】机器学习之L1和L2正则化1_L1归一化资源-CSDN文库
l1,l2正则化都是可以用于降低系统复杂度的做法,底层逻辑是惩罚函数
L1正则化---》产生稀疏矩阵
l2正则化---》防止过拟合
(这段没懂就直接复制了,为什么W1=0他就产生稀疏性了,是相当于w1这一维数据就是无效特征这样理解吗?--没错)
红色为正则化条件限制的圆,符合条件的解w必须沿红色的圆走,蓝色圆为J的一条等高线,蓝色箭头为原目标函数J的梯度,根据梯度下降,将一直沿着绿色箭头(红圆切线)走,直到与红圆的normal(法线)重合,得到W*为最优解。
梯度下降的等值线与正则化函数第一次交点是最优解