直观理解
在实数域中,数的大小和两个数之间的距离是通过绝对值来度量的。在解析几何中,向量的大小和两个向量之差的大小是“长度”和“距离”的概念来度量的。为了对矩阵运算进行数值分析,我们需要对向量和矩阵的“大小”引进某种度量。即范数是具有“长度”概念的函数。范数是绝对值概念的自然推广。
向量范数Vector Norm
定义
如果向量 x∈Rn 的某个实值函数f(x)=||x||满足:
正定性: ||x||≥0,且||x||=0当且仅当x=0;
齐次性:对任意实数 α ,都有||αx||=|α| ||x||
三角不等式:对任意x,y∈Rn,都有||x+y||≤||x||+||y||
则称||x|| 为 Rn上的一个向量范数
常用向量范数
L1 范数
||x||1=|x1|+|x2|+⋯+|xn|=∑in|xi|
L1 范数有很多名字,比如“稀疏规则算子”(Lasso regularization),还有曼哈顿范数(Manhattan norm)
L2范数
||x||2=(|x1|2+|x2|2+⋯+|xn|2)12=∑inx2i−−−−−√
L2范数也被称为Euclidean Norm。即如果用于计算两个向量之间的不同,即是Euclidean Distance
Lp范数
||x||p=(|x1|p+|x2|p+⋯+|xn|p)1p=∑inxpi−−−−−√p
L∞ 范数
||x||∞=max1≤i≤n|