2、机器学习基础知识——范数

范数

范数（Norm）是数学中的一种基本概念，在泛函分析中，范数是一种定义在赋范线性空间中的函数，满足相应条件后的函数都可以被称为范数，其中包括向量范数和矩阵范数。

---

1、向量范数

在泛函分析中，向量范数是衡量向量大小的一种度量方式。在形式上，向量范数是一个定义域为任何线性空间向量的函数，它把一个向量 X 映射为一个非负实数值R，即满足f：V —> R。

从几何角度来说，向量 X  的范数是度量从原点 O 到点 X 的距离，从广义的角度来说。对于任意一个函数f：V —> R，f只要同时满足以下条件可以称为范数。

  (1)、非负性：f(x) <=0,当且 f(x)=0 时，必有 x=0;

  (2)、三角不等式性：f(x+y) <= f(x)+f(y);

  (3)、齐次性：存在任意 x 属于 R^n,使得 f(ax) = |a|*f(x)。

注：机器学习模型优化时，常用范数来实行正则化，用来衡量模型的复杂度，其中最常用的就是P范数。

P范数：

1 范数（绝对值范数）：                         

2 范数（欧几里德范数 or 模长）：                         

∞ 范数（最大范数）：                         

图片来自网络：http://www.mamicode.com/info-detail-2548410.html

---

2、矩阵范数

定义：对于任何一个函数 f：A—>R,函数只要同时满足以下的 4个条件，则可以称为矩阵范数： 

  (1)、非负性：f(A) <=0,当且 f(A)=0 时，必有 A=0;

  (2)、三角不等式性：f(A+B) <= f(A)+f(B);

  (3)、齐次性：存在任意 A 属于 R^n,使得 f(aA) = |a|*f(A)；

  (4)、矩阵乘法的相容性：对于任意 2 个可乘的矩阵 A 和 B，满足 f(AB) <= f(A) x f(B)。

1 范数（最大范数）：                         

 

2 范数（最大范数）：                         

 

∞ 范数（最大范数）：                         

 

Frobenious 范数（F范数）：                         

 

注：很多模型优化问题，如 PCA，自编码器等都能转化为 F 范数的最优化问题。

---

参考：

[1].深入浅出深度学习——原理剖析于Python实践，黄安阜

[2].机器学习，周志华

[3].统计学习方法，李航

---