L1正则化和L2正则化

正则化

正则化可理解为一种“罚函数法”，即对不希望得到的结果施加惩罚，从而使得优化过程趋向于希望目标
从贝叶斯估计的角度来看，正则化项可认为是提供了模型的先验概率

B站视频讲解链接

为什么加正则化项可以防止过拟合？
从数学的角度来说，加正则化项就相当于加约束条件，加了约束条件使很多的参数分量$w_i=0$（相当于特征选择）从而降低模型复杂度，也就是防止因为参数过多导致的过拟合现象

机器学习内容

$L_p$范数$(norm)$

$L_p$范数$(norm)$是常用的正则化项，其中$L_2$范数$\mid \mid$$w_2$$\mid \mid$倾向于$\vec{w}$的分量取值尽量均衡，即非零分量个数尽量稠密，而$L_0$范数$\mid \mid$$w_0$$\mid \mid$和$L_1$范数 $\mid \mid$$w_1$$\mid \mid$则倾向于$w$的分量尽量稀疏，即非零向量个数尽量少。
与闵可夫斯基距离的定义一样，$L_p$范数不是一个范数，而是一组范数，其定义如下：

———————————————————————————————————
$$L_p=p\sqrt{\sum _{i=1}^n{x}_i^p}(x=x_1,x_2,...,x_n)$$

———————————————————————————————————

$L_0$范数

当$p=$