度量（距离）（metric）、范数（norm）和内积（inner product）

度量（距离）（metric）、范数（norm）和内积（inner product）

许多时候，经常用到这三个概念，现整理在此，以便日后快速查阅。

一、距离

度量（或距离）是用来定义两个点（或向量）之间的距离的一个函数。

• 定义：给定一个集合 $X$，一个度量 $d:X\times X\to \mathbb{R}$ 是一个函数，它满足以下三个条件：

1. 非负性：$d(x,y)\ge 0$，且 $d(x,y)=0⟺x=y$；
2. 对称性：$d(x,y)=d(y,x)$；
3. 三角不等式：$d(x,z)\le d(x,y)+d(y,z)$ 对所有 $x,y,z\in X$ 成立。

欧氏距离：最常见的距离度量是欧氏距离，它在 ${\mathbb{R}}^n$ 中定义为：

$d(x,y)=\sqrt{{\sum }_{i=1}^n(x_i-y_i{)}^2}$

这是我们通常在几何空间中理解的直线距离。

二、 范数

范数是定义在向量空间上的一个函数，它可以理解为描述向量的“大小”或“长度”。通过范数，可以定义向量空间中的度量（距离）。

• 定义：给定一个向量空间 $V$，一个函数 $\Vert \cdot \Vert :V\to \mathbb{R}$是一个范数，如果它满足以下条件：

  1. 非负性：$\Vert x\Vert \ge 0$ 且 $\Vert x\Vert =0⟺x=0$；
  2. 齐次性：$\Vert \alpha x\Vert =|\alpha |\Vert x\Vert$ 对任意标量 $\alpha$ 和向量 $x$；
  3. 三角不等式：$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$对所有 $x,y\in V$。

• 常见的范数：

  1. $L_{₂}$范数（欧氏范数）：在欧几里得空间 ${\mathbb{R}}^n$ 中，$L_{₂}$范数是：

     $\Vert x{\Vert }_2={\left({\sum }_{i=1}^n|x_i{|}^2\right)}^{1/2}$

     这是最常用的范数，表示向量的长度。

  2. $L_{₁}$范数：定义为向量分量绝对值的和：

     $\Vert x{\Vert }_1={\sum }_{i=1}^n|x_i|$

     这是在信号处理和优化问题中常用的一种范数。

  3. $L_{\infty }$范数（最大范数）：定义为向量分量的最大绝对值：

     $\Vert x{\Vert }_{\infty }=\underset{i}{\max }|x_i|$

     这是在某些最坏情况分析中使用的范数。

• 范数与度量的关系：通过范数，我们可以定义向量之间的距离。对于向量 $x,y\in V$，我们可以通过范数定义距离：

  $d(x,y)=\Vert x-y\Vert$

  因此，范数空间总是一个度量空间。

三、 内积

内积是向量空间中的一种代数结构，它通过定义向量的乘积来度量两个向量之间的相似性（如方向上的相互关系）。内积还可以用来定义范数。

• 定义：在向量空间 $V$ 中，一个内积是一个函数$⟨\cdot ,\cdot ⟩:V\times V\to \mathbb{R}$，满足以下条件：

  1. 对称性：$⟨x,y⟩=⟨y,x⟩$（对于复数内积，满足共轭对称性：$⟨x,y⟩=\overline{⟨y,x⟩}$）；
  2. 线性性：$⟨\alpha x+\beta y,z⟩=\alpha ⟨x,z⟩+\beta ⟨y,z⟩$对任意标量 $\alpha 、\beta$；(对第一变元)
  3. 正定性：$⟨x,x⟩\ge 0$，且 $⟨x,x⟩=0⟺x=0$。

• 常见的内积： 在 ${\mathbb{R}}^n$ 中，标准的欧氏内积定义为：

  $⟨x,y⟩={\sum }_{i=1}^n{x}_i{y}_i$

  对于复数空间，复数内积的定义则是：

  $⟨x,y⟩={\sum }_{i=1}^n{x}_i\overline{y_i}$

• 内积与范数的关系：内积可以用来定义范数。通过内积，向量 $x$ 的范数定义为：

  $\Vert x\Vert =\sqrt{⟨x,x⟩}$

  因此，内积空间总是一个度量空间。

总结：内积可以诱导范数，范数可以诱导度量，所以内积也可以诱导度量。