范数与距离

范数与距离

距离的概念

给定一个集合$V$，在$V$上定义一种新的运算：距离：$V\times V\to R,\forall x,y\in V,$在$R$中都有唯一的元素$\delta$与之对应，称为$x,y$之间的距离。

满足的性质：

1. $d(x,y)⩾0,\forall x,y\in V$且$d(x,y)=0\iff x=y$（非负性）
2. $d(x,y)⩽d(x,y)+d(y,z)$（三角不等式）
3. $d(x,y)=d(y,x)$（自反性）

范数的概念

设$V$是一个实线性空间，对应的数域为$R$，在其上定义范数运算$\Vert \cdot \Vert :V\to R,$即$\forall x\in V,$在$R$中都有唯一的元素$\delta$与之对应，称之为x的范数，记为$\Vert x\Vert$。

满足的性质：

1. $\Vert x\Vert ⩾0$且$\Vert x\Vert =0\iff x=0$（非负性）
2. $\Vert ax\Vert =|a|\Vert x\Vert ,a\in R$（齐次性）
3. $\Vert x+y\Vert ⩽\Vert x\Vert +\Vert y\Vert ,x,y\in V$（三角不等式）

向量范数与矩阵范数的理解

我们都知道，函数与几何图形往往是有对应的关系，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，比如一个函数对应几何空间上若干点组成的图形。但当函数与几何超出三维空间时，就难以获得较好的想象，于是就有了映射的概念。

映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射，然后再讨论函数，这是因为函数是映射的一个特例。为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个集合（另外一个向量）。

向量的范数，就是表示这个原有集合的大小。

矩阵的范数，就是表示这个变化过程的大小的一个度量。

范数的分类

1.L-P范数

L-P范数不是一个范数，而是一组范数：

$$L_p=\Vert x{\Vert }_p=\sqrt[p]{\sum _{i=1}^n{x}_i^P,}x=(x_1,x_2,...,x_n)$$

随着P的变化，范数也有着不同的变化，如下图为P从无穷到0变化的时候，三维空间中倒原点的距离（范数）为1的点构成的图形的变化情况。

2.L0范数

当P=0时，也就是L0范数，由上面可知，L0范数并不是一个真正的范数，它主要被用来度量向量中非零元素的个数。用上面的L-P定义可以得到的L-0的定义为：

$$\Vert x{\Vert }_0=\sqrt[0]{\sum _{i=1}^n{x}_i^0}$$

3.L1范数

表示向量$x$中非零元素的绝对值之和。

$$\Vert x{\Vert }_1=\sum _{i=1}^n|x_i|$$

4.L2范数

表示向量元素的平方和再开平方。L2范数又称Euclidean范数或者Frobenius范数.

$$\Vert x{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$

距离的分类

1.欧氏距离——对应L2范数

最常见的两点之间或多点之间的距离表示法，又称之为欧几里得度量，它定义于欧几里得空间中。如点 $x=(x1,...,x_n)$ 和 $y = (y1,…,y_n) $之间的欧氏距离:

$$d(x,y)=\sqrt{(x_1-y_1{)}^2+(x_2-y_2{)}^2+...+(x_n-y_n{)}^2}=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}$$(n表示维度)

2.曼哈顿距离——对应L1范数

曼哈顿距离对应L1-范数，也就是在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。例如在平面上，坐标$（x1,y1）$的点$P1$与坐标$（x2,y2）$的点$P2$的曼哈顿距离为$|x_1-x_2|+|y_1-y_2|$

通俗来讲，想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。而实际驾驶距离就是这个“曼哈顿距离”，此即曼哈顿距离名称的来源， 同时，曼哈顿距离也称为城市街区距离.

n维向量$a(x_{11},x_{22},...,x_{1n})$与$b(x_{21},x_{22},...,x_{2n})$间的曼哈顿距离：

$$d_{12}=\sum _{k=1}^n|x_{1k}-x_{2k}|$$

转载/参考：https://blog.csdn.net/jack_20/article/details/72896459

https://www.cnblogs.com/wt869054461/p/5935961.html