我这样说范数和模你应该懂L1、L2正则咋回事了吧

作者：RayChiu_Labloy
版权声明：著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处

---

目录

向量的范数定义

常用的向量的范数：

L0范数：

L1范数:  

L2范数:  

Lp范数: 

L∞范数: 

向量的模

正则化中的L1和L2应用

---

向量的范数定义

        在一维空间中，实轴上任意两点距离用两点差的绝对值表示。绝对值是一种度量形式的定义。
        范数是对函数、向量和矩阵定义的一种度量形式。任何对象的范数值都是一个非负实数。使用范数可以测量两个函数、向量或矩阵之间的距离。向量范数是度量向量长度的一种定义形式。

        范数在机器学习中通常用于衡量一个向量的大小，形式上， 范数的定义如下：

         其中p >= 1。

常用的向量的范数：

L0范数：

        这个有点不好理解，详细说下，上式中当P=0时，也就是L0范数

        还是很不好说明L0的意义，所以在通常情况下，大家都用的是

L0范数并不是一个真正的范数，它主要被用来度量向量中非零元素的个数。

        在实际情况中，L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。L0的最优问题会被放宽到L1或L2下的最优化，L1范数和L2范数经常用于机器学习的正则化中。

L1范数:  

        ||x|| 为x向量各个元素绝对值之和，，也就是曼哈顿距离。

        matlab中的函数norm(x, 1)

L2范数:  

        ||x||为x向量各个元素平方和的1/2次方，，L2范数又称Euclidean范数或者Frobenius范数，也就是欧式距离。

        matlab中的函数norm(x, 2)

Lp范数: 

        ||x||为x向量各个元素绝对值p次方和的1/p次方，,也就是闵可夫斯基距离

        matlab中的函数norm(x, p)

L∞范数: 

        ||x||为x向量各个元素绝对值最大那个元素的绝对值  ,,也就是切比雪夫距离

         matlab中的函数norm(x, inf)

向量的模

        向量的大小，也就是向量的长度（或称模），记作。

        模是绝对值在二维和三维空间的推广，可以认为就是向量的长度。推广到高维空间中称为范数。 

        平面向量(x,y)，其中x,y分别是两个轴上的坐标，模长 

        空间向量(x,y,z)，其中x,y,z分别是三轴上的坐标，模长是

         可以看到向量的模和向量的L2范数的计算方式是一样的，都表示的是欧氏距离。

正则化中的L1和L2应用

        正则化是结构风险（损失函数+正则化项）最小化策略的体现，是在经验风险（平均损失函数）上加一个正则化项。正则化的作用就是选择经验风险和模型复杂度同时较小的模型。

        防止过拟合的原理：正则化项一般是模型复杂度的单调递增函数，而经验风险负责最小化误差，使模型偏差尽可能小经验风险越小，模型越复杂，正则化项的值越大。要使正则化项也很小，那么模型复杂程度受到限制，因此就能有效地防止过拟合。

范数正则化 (lasso回归，稀疏规则算子) 损失函数：

范数正则化（Ridge Regression，岭回归） 损失函数

 

        L1范数正则化、L2范数正则化都有助于降低过拟合风险，L2范数通过对参数向量各元素平方和求平方根，使得L2范数最小，从而使得参数的各个元素接近0 ，但不等于0。 而L1范数正则化比L2范数更易获得“稀疏”解，即L1范数正则化求得的会有更少的非零分量，所以L1范数可用于特征选择，而L2范数在参数规则化时经常用到（事实上，L0范数得到的“稀疏”解最多，但L0范数是中非零元素的个数，不连续，难以优化求解。因此常用L1范数来近似代替）。

参考：【机器学习】一文读懂正则化与LASSO回归，Ridge回归_齐在的专栏-CSDN博客

 L1范数与L2范数的区别 - 知乎

【如果对您有帮助，交个朋友给个一键三连吧，您的肯定是我博客高质量维护的动力！！！】