范数及其意义

什么是范数？
范数(Norm)是具有度量性质的函数，它经常使用来衡量矢量函数的长度或大小，是泛函分析中的一个基本概念。
要更好的理解范数，就要从函数、几何与矩阵的角度去理解，我们都知道，函数与几何图形往往是有对应的关系，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，比如一个函数对应几何空间上若干点组成的图形。
但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念，映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射，然后再讨论函数，这是因为函数是映射的一个特例。
为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。
那么向量的范数，就是表示这个原有集合的大小。
而矩阵的范数，就是表示这个变化过程的大小的一个度量。
L0范数：向量中非零元素的个数
L1范数：为绝对值之和（由于L1范数的天然性质，对L1优化的解是一个稀疏解，因此L1范数也被叫做稀疏规则算子，实现特征的稀疏，去掉一些没有信息的特征，例如在对用户的电影爱好做分类的时候，用户有100个特征，可能只有十几个特征是对分类有用的，大部分特征如身高体重等可能都是无用的，利用L1范数就可以过滤掉。）
L2 范数：就是通常意义上的模；L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。
无穷范数：就是取向量的最大值。
F范数
F范数是矩阵中每一个位置的元素的平方和再开方，它的作用是衡量一个矩阵的大小，即衡量这个矩阵和零矩阵的距离，就像二维平面上的一个点，和原点的距离就是它的F范数。

总的来说，范数的本质是距离，存在的意义是为了实现比较。比如，在一维实数集合中，我们随便取两个点4和9，我们知道9比4大，但是到了二维实数空间中，取两个点（1，1）和（0，3），这个时候我们就没办法比较它们之间的大小，因为它们不是可以比较的实数，于是我们引入范数这个概念，把我们的（4，0）和（0，3）通过范数分别映射到实数4 和 3 ，这样我们就比较这两个点了。所以你可以看到，范数它其实是一个函数，它把不能比较的向量转换成可以比较的实数。
在上面的例子里，我们用的范数是平方求和然后再开方，范数还有很多其他的类型，这个就要看具体的定义了，理论上我们也可以把范数定义为只比较x轴上数字的绝对值。

参考链接：
https://blog.csdn.net/yangpan011/article/details/79461846
https://blog.csdn.net/shijing_0214/article/details/51757564