范数

在线性代数中， 范数（ norm）是一个表示“长度”概念的函数，为向量空间内的所有向量赋予非零的正长度或大小。对于一个n维的向量 x，常见的范数有：

向量的范数

一个向量的0范数指的是其非零元素的个数；
一个向量的1范数指的是其元素绝对值之和；
一个向量的2范数指的是其模长，即元素平方和的开方。

矩阵的范数
矩阵的范数有很多种形式，这里我们定义其p-范数为：

L0范数 表示向量中所有非零元素的个数。正是L0范数的这个属性，使得其非常适合机器学习中稀疏编码，特征选择的应用。通过最小化L0范数，来寻找最少最优的稀疏特征项。但不幸的是，L0范数的最小化问题在实际应用中是NP难问题。因此很多情况下，L0优化问题就会被relaxe为更高维度的范数问题，如L1范数，L2范数最小化问题。

L1范数 也叫“稀疏规则算子”（Lasso regularization），是L0范数的最优凸近似，而且它比L0范数要容易优化求解。

L2范数 可以防止过拟合，提升模型的泛化能力。有助于处理 condition number不好的情况下矩阵求逆很困难的问题。