模型训练的正则L1、L2

详细的解释：L1正则化引起稀疏解的多种解释

1、对“L1稀疏解、L2平滑解”的个人理解

L1正则

• 二维函数=|x-y|=0，平面图是个以原点为中心的正方形，四个角都正好在x或y周上。
• 通过分析知道，L1下坐标轴上的点更有可能成为最优解，但坐标轴上的点肯定x=0或y=0，即存在某些维度下value=0的情况，从而导致矩阵变得稀疏。

L2正则

• 二维函数=(x-y)^2=0，是个以原点为中心的圆。
• 通过分析知道，L2下待拟合曲线与圆的切点是最优解，而圆有那么多切点，分布在坐标轴上的才4个点，其他点也都可以作为切点，而且这些点坐标(x,y)都在（0,1）范围内，不会取0和1，从而导致矩阵里的更多的值是接近0，而不是等于0，也就是所谓的平滑解现象。