范数的理解

范数是强化的距离概念，比距离多了数乘的运算法则，可以把范数当作距离来理解。

范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。可简单理解为，向量范数是向量空间中的向大小的度量；

对于矩阵范数，A * X = B，将向量X变化为B，矩阵范数就是来度量这个变化大小的。

L0范数，不是一个真正的范数，主要用来度量向量中非零元素的个数；L0范数本身不容易有一个好的数学表示形式，故被认为是NP难问题，在实际情况中，L0的最优问题会被放宽到L1或L2范数下的最优化。

L1范数：，表示向量 x 中非零元素的绝对值之和。

L1范数也可称为曼哈顿距离、最小绝对误差等，可以度量两个向量间的差异，如绝对误差和。由于L1范数的天然性质导致对 L1 优化的解是一个稀疏解，L1范数称为稀疏规则算子，可以实现特征的稀疏，去掉一些没有信息的特征。

L2 范数：，表示向量元素的平方和开平方，距离欧氏距离也是 L2 范数。

L2也可以度量两个向量间的差异，如平方差和，L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

 

 参考：

范数（norm） 几种范数的简单介绍_Norstc的博客-CSDN博客_norm