各类范数定义速查；奇异值与特征值

1. 向量范数

• 0-范数：表示向量中非零元素的个数（即为其稀疏度）
• P-范数：$\Vert x{\Vert }_p=(\Sigma |x_i{|}^p{)}^{1/p}$。matlab调用norm(x,p)。norm(x)默认为二范数，也就是欧几里得范数
• $\infty$-范数：$\Vert x{\Vert }_{\infty }=\underset{i}{\max }|x_i|$。matlba调用为norm(x,inf)
• $-\infty$-范数：$\Vert x{\Vert }_{-\infty }=\underset{i}{\min }|x_i|$。matlab调用为norm(x,-inf)

2. 矩阵范数

• 1-范数：$\Vert A{\Vert }_1=\underset{j}{\max }{\Sigma }_{i=1}^m|a_{i,j}|$。也就是找出绝对值之和最大的列向量。俗称列和范数。matlab调用norm(A,1)。
• $\infty$-范数：$\Vert A{\Vert }_{\infty }=\underset{i}{\max }{\Sigma }_{j=1}^n|a_{i,j}|$。也就是找出绝对值之和最大的行向量。俗称行和范数。matlab调用norm(A,inf)
• 2-范数：$\Vert A{\Vert }_2=\sqrt[2]{{\lambda }_1}$。其中${\lambda }_1$是$A^{T}A$的最大特征值。这玩意儿是对称矩阵，不用担心负号问题。matlab调用norm(A,2)
• F-范数：$\Vert A{\Vert }_F=({\Sigma }_{i=1}^m{\Sigma }_{j=1}^n|a_{i,j}{|}^2{)}^{1/2}$。matlab调用norm(A,F)
• 核范数：$\Vert A{\Vert }_{\ast }=tr(\sqrt{A^{T}A})=tr(\Sigma )={\Sigma }_{i=1}^n{\lambda }_i$。${\lambda }_i$为A的奇异值,没有绝对值符号。

---

奇异值和特征值

• 以Ax = b为例，x是m维向量，b是n维向量，m,n可以相等也可以不相等，表示矩阵可以将一个向量线性变换到另一个向量，这样一个线性变换的作用可以包含旋转、缩放和投影三种类型的效应。
• SVD分解：
  $A=\mu \Sigma {\sigma }^T$
  $\mu$和$\sigma$是两组正交的单位向量，$\Sigma$是对角阵，表示奇异值。A矩阵的作用是将一个向量从$\sigma$这组正交基旋转到$\mu$这组正交基的向量空间，并且对每个方向进行了一定的缩放。缩放因子就是各个奇异值。倘若$\sigma$的维度大于$\mu$，可以视为进行了投影。换言之SVD分解将一个矩阵混合在一起的三个作用分解了出来。这意味着，SVD可以扩展到任意线性变换。奇异值都是非负的。请注意，给定的矩阵，奇异值是固定的，但是左右奇异向量则是不定的。
• 特征值分解则是对旋转和缩放两种操作的归并。有投影（降维）效应的不是方阵，无法求取特征值。特征值和特征向量表示的是缩放作用。对于实对称矩阵，特征向量正交，便可以有
  $A=x\lambda x$
  这就与SVD分解类似。是矩阵A将一个向量从x这组基的空间旋转到x这组基的空间，并在每个方向进行了缩放，由于前后都是x，就是没有旋转或者理解为旋转了0度。因此只能描述线性算子。特征值可能是负的。
• 总的来说，特征值分解与SVD都是给线性变换（一个矩阵）找一组特殊的基。我感觉特征值分解其实是一种找特殊角度，让旋转效果不显露出来，所以并不是所有矩阵都能找到这样巧妙的角度。仅有缩放效果，表示、计算的时候都更方便，这样的基很多时候不再正交了，又限制了一些应用。
• 在范数中的关系
  
  

• 具体可以看这里和这里