1.范数
范数通俗理解就是一个函数,用来度量向量的大小和方向。
根据维度,范数可分为向量范数(二维)和矩阵范数(多维)。
1)向量范数
L-P范数
L-P范数不是一个范数,而是一组范数,其定义如下:
L
p
=
∥
x
∥
p
=
∑
i
=
1
n
x
i
p
p
,
x
=
(
x
1
,
x
2
,
.
.
.
,
x
n
)
(1)
L_p=\begin{Vmatrix}\bold{x}\end{Vmatrix}_p=\sqrt[p]{\sum_{i=1}^{n}x^p_i},\bold{x}=(x_1,x_2,...,x_n)\tag{1}
Lp=∥∥x∥∥p=pi=1∑nxip,x=(x1,x2,...,xn)(1)
下图是经典的随P变换的范数示意图:
①L0范数
L0范数不是一个真正的范数,被用来度量向量中的非零元素的个数。除了以上公式,还可以表示为:
∥
x
∥
=
#
(
i
∣
x
i
≠
0
)
\begin{Vmatrix}\bold{x}\end{Vmatrix}= \#(i|x_i\neq0)
∥∥x∥∥=#(i∣xi=0)
表示向量
x
\bold{x}
x中非零元素的个数。
②L1范数
L1范数表示的是向量
x
\bold{x}
x中非零元素的绝对值之和。除此之外我们也称它为,曼哈顿距离、最小绝对误差。其定义如下:
∥
x
∥
1
=
∑
i
=
1
n
∣
x
i
∣
\begin{Vmatrix}\bold{x}\end{Vmatrix}_1=\sum_{i=1}^{n}|x_i|
∥∥x∥∥1=i=1∑n∣xi∣
③L2范数
L2范数一般用来度量欧式距离。其定义如下:
∥
x
∥
2
=
∑
i
=
1
n
x
i
2
\begin{Vmatrix}\bold{x}\end{Vmatrix}_2=\sqrt{\sum_{i=1}^{n}x_i^2}
∥∥x∥∥2=i=1∑nxi2
④L ∞ \infty ∞
L
∞
\infty
∞范数主要被用来度量向量元素中的最大值,通常可表示为:
∥
x
∥
∞
=
m
a
x
(
∣
x
i
∣
)
\begin{Vmatrix}\bold{x}\end{Vmatrix}_\infty=max(|x_i|)
∥∥x∥∥∞=max(∣xi∣)
2)矩阵范数
2.正则化
正则化一般是机器学习中为防止训练模型过拟合,在损失函数中的添加项。
L1正则和L2正则其实质就是L1范数和L2范数。
1)L1正则
L1正则项表示:
Ω
(
θ
)
=
∥
ω
∥
1
=
∑
i
∣
ω
i
∣
\Omega(\theta)=\begin{Vmatrix}\omega\end{Vmatrix}_1=\sum_{i}|\omega_i|
Ω(θ)=∥∥ω∥∥1=i∑∣ωi∣
2)L2正则
L2正则项表示:
Ω
(
θ
)
=
∥
ω
∥
2
=
1
2
∑
i
∥
ω
i
∥
2
2
\Omega(\theta)=\begin{Vmatrix}\omega\end{Vmatrix}_2=\frac{1}{2}\sum_{i}\begin{Vmatrix}\omega_i\end{Vmatrix}_2^2
Ω(θ)=∥∥ω∥∥2=21i∑∥∥ωi∥∥22
参考文章
https://blog.csdn.net/Resume_f/article/details/104627620
https://blog.csdn.net/a493823882/article/details/80569888?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161467454016780262514892%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=161467454016780262514892&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduend~default-1-80569888.first_rank_v2_pc_rank_v29&utm_term=%E8%8C%83%E6%95%B0