L 0 , L 1 , L 2 L_0,L_1,L_2 L0,L1,L2惩罚
规则化参数
为了防止模型过拟合,我们需要对参数加以限制,所以有三种规则化方式。
写的很好可以参考的博文有
规则化讲解
机器学习-范数讲解
L 0 L_0 L0
忽然意识到 L 0 L_0 L0是我不懂的,去查了一些博客,原来三个都是对参数 的限制,但是相对来说,这个 L 0 L_0 L0只是限制了参数非零的个数,就是21年chen那篇论文里面,限制 β 0 \beta_0 β0有个最小的条件。原来如此。
L 1 L_1 L1
参数绝对值的和,即Lasso,会让一些参数变成0,通过增大偏差的代价来换取方差变小。
L 2 L_2 L2
参数平方和,不会减少参数的个数,只是使参数的值向0压缩,也是通过 λ \lambda λ 的不断增大,利用偏差增加的代价来换取方差。它的好处是,可以保证解的存在性。