12-17所学

$L_0,L_1,L_2$惩罚

规则化参数

为了防止模型过拟合，我们需要对参数加以限制，所以有三种规则化方式。
写的很好可以参考的博文有
规则化讲解
机器学习-范数讲解

$L_0$

忽然意识到$L_0$是我不懂的，去查了一些博客，原来三个都是对参数 的限制，但是相对来说，这个$L_0$只是限制了参数非零的个数，就是21年chen那篇论文里面，限制${\beta }_0$有个最小的条件。原来如此。

$L_1$

参数绝对值的和，即Lasso，会让一些参数变成0，通过增大偏差的代价来换取方差变小。

$L_2$

参数平方和，不会减少参数的个数，只是使参数的值向0压缩，也是通过 $\lambda$ 的不断增大，利用偏差增加的代价来换取方差。它的好处是，可以保证解的存在性。