【深度学习】Pytorch 系列教程（五）：PyTorch数据结构：2、张量的数学运算（3）：向量范数（0、1、2、p、无穷）、矩阵范数（弗罗贝尼乌斯、列和、行和、谱范数、核范数）与谱半径详解

  本文将介绍向量范数（包括0范数、1范数、2范数、p范数、无穷范数）、矩阵范数（包括弗罗贝尼乌斯范数、列和范数、行和范数、谱范数、核范数）与谱半径的数学定义、计算示例及Pytorch实现。

一、向量范数

1. 定义及性质

  考虑一个 $n$ 维向量 $x$，定义一个实值函数 $N(x)$，记作 $N(x)=\Vert x\Vert$。如果 $N(x)$ 满足以下条件，那么它就是 $x$ 上的一个向量范数（或向量模）：

1. 非负性： $N(x)\ge 0$，且 $N(x)=0$当且仅当 $x$ 是零向量。$$\Vert x\Vert \ge 0，\Vert x\Vert =0\text{ 当且仅当 }x=0$$
   • 范数是非负的，即它不会为负值。当且仅当向量是零向量时，范数为零。
2. 齐次性： 对于任意实数 $\alpha$（或复数），有 $N(\alpha x)=|\alpha |\cdot N(x)$。
   $$\Vert \alpha x\Vert =|\alpha |\cdot \Vert x\Vert$$
   • 范数在缩放（乘以常数）下保持一致，即放大或缩小向量会按比例影响其范数。
3. 三角不等式： 对于任意向量 $x$ 和 $y$，有 $N(x+y)\le N(x)+N(y)$。
   $$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$$
   • 范数的三角不等式表示通过两边之和的方式度量两个向量之间的距离，它确保了向量空间中的“三角形”不会变得扭曲。

2. 常见的向量范数

  对于一个 $n$维向量 $x=(x_1,x_2,\dots ,x_n)$ ，其范数在不同情况下有不同的应用，比如L1范数在正则化、稀疏表示和特征选择中常被使用，L2范数在机器学习中也经常被用作优化问题的损失函数，无穷范数则常用于误差分析。

$l_1$范数（曼哈顿范数）$$\Vert x{\Vert }_1=\sum _{i=1}^n|x_i|$$

$l_2$范数（欧几里得范数）$$\Vert x{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$

$l_{\infty }$ 范数（无穷范数）$$\Vert x{\Vert }_{\infty }=\underset{1\le i\le n}{\max }|x_i|$$

$l_p$范数（p范数）$$\Vert x{\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{1}{p}}$$

$l_0$范数（0范数）$$\Vert x{\Vert }_0=\sum _{i=1}^n[x_i\ne 0]$$

  虽然称之为"范数"有些不严谨，因为它不满足标准的范数定义，但在某些上下文中，向量的0范数仍然是一个有用的概念，特别是在稀疏表示和压缩感知等领域。然而L0范数通常不易计算，因为它是一个非凸函数，且其最优化问题通常是一个NP难题。因此，在实际应用中，通常会使用L1范数或L2范数来近似表示向量的稀疏度，或者使用其他方法来实现稀疏表示和特征选择。

关系

• $l_1$ 范数、$l_2$ 范数、$l_{\infty }$ 范数之间存在关系：
  $$\Vert x{\Vert }_{\infty }\le \Vert x{\Vert }_2\le \sqrt{n}\Vert x{\Vert }_{\infty }$$ $$\Vert x{\Vert }_{\infty }\le \Vert x{\Vert }_1\le n\Vert x{\Vert }_{\infty }$$

3. PyTorch实现

• norm默认计算$l_2$ 范数：

  import torch
   
  vector = torch.tensor([1, 2, 3, 4, 5], dtype=torch.float)
   
  # 计算范数
  norm = torch.norm(vector)
  
  print(norm)
  

  • 输出: tensor(7.4162)
    $$7.4162=\sqrt{1^2+2^2+3^2+4^2+5^2}$$

• $l_1$ 范数：

  norm = torch.norm(vector, p=1)
  

  • 输出: tensor(15.)
    $$15=1+2+3+4+5$$

• $l_0$ 范数：

  norm = torch.norm(vector, p=0)
  

  • 输出: tensor(5.)
    $$非零元素的个数为5$$

• $l_{\infty }$范数：

  norm = torch.norm(vector, p=float('inf'))
  

  • 输出: tensor(5.)
    $$5=max(1,2,3,4,5)$$

• 代码整合

  import torch
  
  vector = torch.tensor([1, 2, 3, 4, 5], dtype=torch.float)
  
  norm2 = torch.norm(vector)
  print(norm2)
  
  norm1 = torch.norm(vector, p=1)
  print(norm1)
  
  norm0 = torch.norm(vector, p=0)
  print(norm0)
  
  norm = torch.norm(vector, p=float('inf'))
  print(norm)
  

  
  

二、矩阵范数

【深度学习】Pytorch 系列教程（四）：PyTorch数据结构：2、张量的数学运算（2）：矩阵运算及其数学原理（基础运算、转置、行列式、迹、伴随矩阵、逆、特征值和特征向量）

1. 定义及性质

  矩阵的范数是定义在矩阵空间上的实值函数，用于度量矩阵的大小和变化，它在矩阵分析、数值计算和优化等领域中有着重要的应用。对于一个矩阵 $A$，矩阵范数通常表示为 $N(A)$ 或 $||A||$，满足以下条件：

1. 非负性（Non-negativity）：对于任意矩阵 $A$，有 $N(A)\ge 0$，且等号成立当且仅当 $A$ 是零矩阵。

2. 齐次性（Homogeneity）：对于任意标量 $k$ 和矩阵 $A$，有 $N(kA)=|k|\cdot N(A)$。

3. 三角不等式（Triangle Inequality）：对于任意两个矩阵 $A$ 和 $B$，有 $N(A+B)\le N(A)+N(B)$。

  范数可以衡量矩阵在不同方向上的变化程度，帮助分析和处理矩阵的特性。比如在数值计算中，矩阵范数可以用来衡量误差的上界；在优化问题中，矩阵范数可以用来定义矩阵的收敛性和稳定性。

相容范数

• 对于任意两个矩阵 $A$ 和 $B$，有 $||AB||\le ||A||\cdot ||B||$，这被称为相容性质。
• 对于任意矩阵 $A$ 和向量 $x$，有 $||Ax||\le ||A||\cdot ||x||$，这也是相容性质。

算子范数

具体而言，常用的算子范数是 $p$范数，其中 $p$ 是一个实数。

2. 常见的矩阵范数

Frobenius范数（弗罗贝尼乌斯范数） $$||A|{|}_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}$$

  矩阵A的Frobenius范数定义为矩阵元素绝对值的平方和再开根号，对于一个$m\times n$的矩阵$A$, 它的Frobenius范数可以通过以上公式计算。

列和范数（1-范数）$$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^m|a_{ij}|$$

  矩阵A的1-范数定义为其列之和的最大值，即矩阵A的每一列的元素绝对值之和中的最大值。

行和范数（$\infty$-范数） $$||A|{|}_{\infty }=\underset{1\le i\le m}{\max }\sum _{j=1}^n|a_{ij}|$$

  矩阵A的$\infty$-范数定义为其行之和的最大值，即矩阵A的每一行的元素绝对值之和中的最大值。

谱范数（2-范数）$$||A|{|}_2=\underset{i}{\max }{\sigma }_i=\sqrt{{\lambda }_{\text{max}}(A^{T}A)}$$

  矩阵A的2-范数是A的最大奇异值，是矩阵A对应的特征值中绝对值最大的特征值的平方根，这个范数通常也被称为谱范数（$\ne$谱半径）。其中，${\sigma }_i$ 表示矩阵 A 的奇异值，r 是矩阵 A 的秩。

奇异值和特征值

1. 定义：特征值和特征向量适用于方阵（即行数等于列数的矩阵），而奇异值适用于任意大小的矩阵。特征值和特征向量是针对方阵而言的，而奇异值是对矩阵的奇异值分解（SVD）而言的。

2. 关系：对于一个矩阵 A，它的奇异值等于 $A^{T}A$ 的特征值的平方根。

3. 应用：特征值和奇异值在某些应用中有相似的作用。例如，特征值和特征向量在矩阵对角化、主成分分析（PCA）和谱聚类中有着重要的应用；而奇异值在矩阵压缩、降维、矩阵逆以及数值稳定性方面有着重要的作用。

核范数$$||A|{|}_{\text{nuc}}=\sum _{i=1}^r{\sigma }_i=\sum _{i=1}^r\sqrt{{\lambda }_i(A^{T}A)}$$

  核范数（nuclear norm）也叫作矩阵的核奇异值范数，它是矩阵的奇异值的和。
  核范数在很多领域有着重要的应用，比如矩阵分解、稀疏表示、信号处理和最优化等。在机器学习和深度学习中，核范数也常常用于正则化，帮助模型对权重进行约束以防止过拟合。

3. 计算示例

$$A=\left[\begin{array}{cc}2& 1\\ -1& 4\end{array}\right]$$计算其各种范数：
$$||A|{|}_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}=\sqrt{2^2+1^2+(-1{)}^2+4^2}=4.690416$$ ∥ A ∥ ∞ = max ⁡ i ∑ j ∣ a i j ∣ = max ⁡ { 3 , 5 } = 5 \|A\|_\infty = \max_i \sum_j |a_{ij}| = \max\{3, 5\} = 5 ∥A∥∞​=imax​j∑​∣aij​∣=max{3,5}=5 ∥ A ∥ 1 = max ⁡ j ∑ i ∣ a i j ∣ = max ⁡ { 3 , 5 } = 5 \|A\|_1 = \max_j \sum_i |a_{ij}| = \max\{3, 5\} = 5 ∥A∥1​=jmax​i∑​∣aij​∣=max{3,5}=5$$\Vert A{\Vert }_2=\sqrt{{\lambda }_{\text{max}}(A^{T}A)}$$

计算 $A^{T}A$ 的特征值，找到最大特征值 ${\lambda }_{\text{max}}$：

$$A^{T}A=\left[\begin{array}{cc}2& -1\\ 1& 4\end{array}\right]\times \left[\begin{array}{cc}2& 1\\ -1& 4\end{array}\right]=\left[\begin{array}{cc}5& -2\\ -2& 17\end{array}\right]$$

• 计算特征多项式：
  $$|A^{T}A-\lambda I|=\left|\begin{array}{cc}5-\lambda & -2\\ -2& 17-\lambda \end{array}\right|$$

• 令$|A-\lambda I|=0$ 可得
  $$\begin{gathered} (5-\lambda )(17-\lambda )-2\times 2=0 \\ {\lambda }^2-22\lambda -81=0 \\ (\lambda -11{)}^2=40 \end{gathered}$$

• 解得，特征值为 ${\lambda }_1=11+2\sqrt{10}$, ${\lambda }_2=11-2\sqrt{10}$
  $$\begin{gathered} \sqrt{{\lambda }_1}=\sqrt{11+2\sqrt{10}}=\sqrt{10}+1=4.162277 \\ \sqrt{{\lambda }_2}=\sqrt{11-2\sqrt{10}}=\sqrt{10}-1=2.162277 \end{gathered}$$ $$\Vert A{\Vert }_2=\sqrt{{\lambda }_{\text{max}}}=\sqrt{{\lambda }_1}=4.162277$$$$\Vert A{\Vert }_{nuc}=\sqrt{{\lambda }_1}+\sqrt{{\lambda }_2}=2\sqrt{10}=6.324555$$

• Frobenius范数：4.690416

• $\infty$-范数(行和范数)：5

• $1$-范数(列和范数)：5

• $2$-范数(谱范数)：4.162277

• 核范数：6.324555

4. PyTorch实现

import torch

A = torch.tensor([[2, 1], [-1, 4]], dtype=torch.float)
# A = torch.tensor([[1, 2], [3, 4]], dtype=torch.float)

frobenius_norm = torch.linalg.norm(A, ord='fro')
l1_norm = torch.linalg.norm(A, ord=1)
l2_norm = torch.linalg.norm(A, ord=2)
inf_norm = torch.linalg.norm(A, ord=float('inf'))
nuc_norm = torch.linalg.norm(A, ord='nuc')

print("\tFrobenius 范数:", frobenius_norm.item())
print("\t无穷范数(行和范数):", inf_norm.item())
print("\t1-范数(列和范数):", l1_norm.item())
print("\t2-范数:", l2_norm.item())
print("\t核范数:", nuc_norm.item())

三、谱半径$$\rho (A)=\underset{i}{\max }|{\lambda }_i|$$

  谱半径是矩阵的特征值按模最大的那个值。

1. 计算示例

$$A=\left[\begin{array}{cc}2& 1\\ -1& 4\end{array}\right]$$

• 计算特征多项式：
  $$|A-\lambda I|=\left|\begin{array}{cc}2-\lambda & 1\\ -1& 4-\lambda \end{array}\right|$$
• 令$|A-\lambda I|=0$ 可得
  $$\begin{gathered} (2-\lambda )(4-\lambda )+1\times 1=0 \\ {\lambda }^2-6\lambda +9=0 \\ (\lambda -3{)}^2=0 \end{gathered}$$
• 解得，特征值为 ${\lambda }_1={\lambda }_2=3$
  $$\rho (A)=\underset{i}{\max }|{\lambda }_i|=3$$

2. PyTorch实现

import torch

# 定义矩阵
A = torch.tensor([[2, 1], [-1, 4]], dtype=torch.float)

# 计算特征值
eigenvalues, _ = torch.linalg.eig(A)

# 计算谱半径
spectral_radius = torch.max(torch.abs(eigenvalues))

# 输出结果
print("谱半径:", spectral_radius.item())