什么是范数(norm)?
范数(norm)是线性代数中的一个基本概念。在泛函分析中,它定义在赋范线性空间中,并满足一定的条件,即①非负性;②齐次性;③三角不等式,它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。
划重点:
范数的三个特性(满足条件):非负性、齐次性、三角不等式。
外文名:
n
o
r
m
norm
norm
作用:常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。
记号:
f
(
x
)
=
∥
x
∥
f(x)=\Vert x \Vert
f(x)=∥x∥
我们常用
∥
x
∥
s
y
m
b
{\Vert x \Vert}_{symb}
∥x∥symb表示具体范数,其中下标
s
y
m
b
symb
symb是区分范数的助记符号,如
∥
x
∥
0
{\Vert x \Vert}_{0}
∥x∥0、
∥
x
∥
1
{\Vert x \Vert}_{1}
∥x∥1、
∥
x
∥
2
{\Vert x \Vert}_{2}
∥x∥2、
∥
x
∥
∞
{\Vert x \Vert}_{\infty}
∥x∥∞。
范数是对向量
x
x
x的长度的度量。我们可以用两个向量
x
x
x和
y
y
y的差异的长度度量它们之间的距离,即:
d
i
s
t
(
x
,
y
)
=
∥
x
−
y
∥
dist(x,y)=\Vert x-y \Vert
dist(x,y)=∥x−y∥
我们用
d
i
s
t
(
x
,
y
)
dist(x,y)
dist(x,y)来表示两个向量
x
x
x和
y
y
y之间用范数
∥
⋅
∥
\Vert {\cdot} \Vert
∥⋅∥表示的距离。
在线性代数中,常用到范数这个概念。对于一维空间的实数集,标准的范数就是绝对值;那么将绝对值的概念推广到多维空间就叫做范数,即范数是绝对值函数的推广。
范数和距离(或长度)的关系
我们知道距离的定义是一个宽泛的概念,只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念,它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解,我们可以把范数当作距离来理解。
在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,就是用范数来度量的,不同的范数都可以来度量这个大小,就好比米和尺都可以来度量远近一样;对于矩阵范数,学过线性代数,我们知道,通过运算 A X = B AX=B AX=B,可以将向量 X X X变化为 B B B,矩阵范数就是来度量这个变化大小的。
这里简单地介绍以下几种向量范数的定义和含义。
L-p范数(L-p norm)
ℓ
\ell
ℓ-p范数的定义如下:
L
p
=
∥
x
∥
p
=
∑
i
=
1
n
∣
x
i
∣
p
p
=
(
∑
i
=
1
n
∣
x
i
∣
p
)
1
/
p
,
i
=
1
,
2
,
⋯
,
n
L_p={\Vert x \Vert}_{p}=\sqrt[p]{ \sum_{i=1}^{n} {|x_i|^p} }=\left( \sum_{i=1}^{n} {|x_i|^p} \right)^{1/p}, \quad i = 1,2,\cdots,n
Lp=∥x∥p=pi=1∑n∣xi∣p=(i=1∑n∣xi∣p)1/p,i=1,2,⋯,n
ℓ
p
\ell_p
ℓp范数只是一个概念上宽泛的说法。取
p
=
1
p=1
p=1,就得到了
ℓ
1
\ell_1
ℓ1范数;取
p
=
2
p=2
p=2,就得到了
ℓ
2
\ell_2
ℓ2范数(
ℓ
2
\ell_2
ℓ2范数又称为Euclid范数,即欧几里得范数,欧几里得距离,欧式距离)。
L0范数
当
p
=
0
p=0
p=0时,就是
ℓ
0
\ell_0
ℓ0范数。
ℓ
0
\ell_0
ℓ0范数并不是一个真正的、有意义的范数。用上面
ℓ
p
\ell_p
ℓp范数的定义可以得到
ℓ
0
\ell_0
ℓ0范数的定义:
L
0
=
∥
x
∥
0
=
∑
i
=
1
n
∣
x
i
∣
0
0
,
i
=
1
,
2
,
⋯
,
n
L_0={\Vert x \Vert}_{0}=\sqrt[0]{ \sum_{i=1}^{n} {|x_i|^0} }, \quad i = 1,2,\cdots,n
L0=∥x∥0=0i=1∑n∣xi∣0,i=1,2,⋯,n
这里就有点问题了,开0次方是什么鬼?所以不好说明
ℓ
0
\ell_0
ℓ0范数的意义。
在通常情况下,
ℓ
0
\ell_0
ℓ0范数主要被用来度量向量中非零元素的个数。
ℓ
0
\ell_0
ℓ0范数定义为:
L
0
=
∥
x
∥
0
=
#
(
x
i
∣
x
i
≠
0
)
,
i
=
1
,
2
,
⋯
,
n
L_0={\Vert x \Vert}_{0}= \# ( x_i | x_i \neq 0), \quad i = 1,2,\cdots,n
L0=∥x∥0=#(xi∣xi=0),i=1,2,⋯,n
即:范数
∥
x
∥
0
{\Vert x \Vert}_{0}
∥x∥0表示向量
x
x
x中非零元素的个数。
L1范数
当
p
=
1
p=1
p=1时,就是
ℓ
1
\ell_1
ℓ1范数。L1范数是我们经常见到的一种范数,定义如下:
L
1
=
∥
x
∥
1
=
∣
x
1
∣
+
∣
x
2
∣
+
⋯
+
∣
x
n
∣
=
∑
i
=
1
n
∣
x
i
∣
,
i
=
1
,
2
,
⋯
,
n
L_1={\Vert x \Vert}_{1}=|x_1|+|x_2|+\cdots+|x_n|=\sum_{i=1}^{n} {|x_i|}, \quad i = 1,2,\cdots,n
L1=∥x∥1=∣x1∣+∣x2∣+⋯+∣xn∣=i=1∑n∣xi∣,i=1,2,⋯,n
即:表示向量
x
x
x中的绝对值之和。
L1范数有好多名字,例如:我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量之间的差异,如绝对误差和(Sum of Absolute Difference):
S
A
D
(
x
1
,
x
2
)
=
∑
i
=
1
n
∣
x
1
i
−
x
2
i
∣
,
i
=
1
,
2
,
⋯
,
n
SAD(x_1,x_2)=\sum_{i=1}^{n} {|x_{1i} - x_{2i}|, \quad i = 1,2,\cdots,n}
SAD(x1,x2)=i=1∑n∣x1i−x2i∣,i=1,2,⋯,n
L2范数
当
p
=
2
p=2
p=2时,就是
ℓ
2
\ell_2
ℓ2范数。
ℓ
2
\ell_2
ℓ2范数是我们最常见的范数。比如欧氏距离(Euclid distance,欧几里得距离)就是一种
ℓ
2
\ell_2
ℓ2范数。定义如下:
L
2
=
∥
x
∥
2
=
∑
i
=
1
n
x
i
2
,
i
=
1
,
2
,
⋯
,
n
L_2={\Vert x \Vert}_{2}=\sqrt[]{ \sum_{i=1}^{n} {x_i^2} }, \quad i = 1,2,\cdots,n
L2=∥x∥2=i=1∑nxi2,i=1,2,⋯,n
即:表示向量
x
x
x的各元素平方和后再开方。
像L1范数一样,L2也可以度量两个向量之间的差异,如平方差和(Sum of Squared Difference):
S
S
D
(
x
1
,
x
2
)
=
∑
i
=
1
n
(
x
1
i
−
x
2
i
)
2
,
i
=
1
,
2
,
⋯
,
n
SSD(x_1,x_2)=\sqrt{\sum_{i=1}^{n} (x_{1i} - x_{2i})^2}, \quad i = 1,2,\cdots,n
SSD(x1,x2)=i=1∑n(x1i−x2i)2,i=1,2,⋯,n
即差值平方和之后,再开方。
L ∞ 范 数 L_\infty范数 L∞范数
当
p
=
∞
p=\infty
p=∞时,也就是
ℓ
∞
\ell_\infty
ℓ∞范数。与
ℓ
0
\ell_0
ℓ0范式一样,
ℓ
∞
\ell_\infty
ℓ∞通常情况下表示为:
L
∞
=
∥
x
∥
∞
=
m
a
x
(
∣
x
i
∣
)
,
i
=
1
,
2
,
⋯
,
n
L_\infty={\Vert x \Vert}_{\infty}= max(|x_i|), \quad i=1,2,\cdots,n
L∞=∥x∥∞=max(∣xi∣),i=1,2,⋯,n
它主要被用来度量向量中绝对值的最大值。
————————————————
版权声明:本文为CSDN博主「Norstc」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/a493823882/article/details/80569888