【基础知识】范数和正则化

1.范数

范数通俗理解就是一个函数，用来度量向量的大小和方向。
根据维度，范数可分为向量范数（二维）和矩阵范数（多维）。

1）向量范数

L-P范数

L-P范数不是一个范数，而是一组范数，其定义如下：
$$L_p={\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert }_p=\sqrt[p]{\sum _{i=1}^n{x}_i^p},\mathbf{x}=(x_1,x_2,...,x_n)\text{\hspace{1em}(1)}$$
下图是经典的随P变换的范数示意图：

①L0范数

L0范数不是一个真正的范数，被用来度量向量中的非零元素的个数。除了以上公式，还可以表示为：
$$\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert =\#(i|x_i\ne 0)$$
表示向量$\mathbf{x}$中非零元素的个数。

②L1范数

L1范数表示的是向量$\mathbf{x}$中非零元素的绝对值之和。除此之外我们也称它为，曼哈顿距离、最小绝对误差。其定义如下：
$${\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert }_1=\sum _{i=1}^n|x_i|$$

③L2范数

L2范数一般用来度量欧式距离。其定义如下：
$${\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$

④L$\infty$

L$\infty$范数主要被用来度量向量元素中的最大值，通常可表示为：
$${\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert }_{\infty }=max(|x_i|)$$

2）矩阵范数

2.正则化

正则化一般是机器学习中为防止训练模型过拟合，在损失函数中的添加项。
L1正则和L2正则其实质就是L1范数和L2范数。

1）L1正则

L1正则项表示：
$$\Omega (\theta )={\Vert \begin{array}{c}\omega \end{array}\Vert }_1=\sum _i|{\omega }_i|$$

2）L2正则

L2正则项表示：
$$\Omega (\theta )={\Vert \begin{array}{c}\omega \end{array}\Vert }_2=\frac{1}{2}\sum _i{\Vert \begin{array}{c}{\omega }_i\end{array}\Vert }_2^2$$

参考文章

https://blog.csdn.net/Resume_f/article/details/104627620
https://blog.csdn.net/a493823882/article/details/80569888?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161467454016780262514892%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=161467454016780262514892&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduend~default-1-80569888.first_rank_v2_pc_rank_v29&utm_term=%E8%8C%83%E6%95%B0