矩阵理论| 基础：向量范数、赋范向量空间与内积空间、重要不等式

范数是度量向量/矩阵/张量大小的方法

范数定义了向量到实数的某种映射，并且满足正定性、齐次性、三角不等式
$\Vert \mathbf{v}\Vert \ge 0$
$\Vert c\mathbf{v}\Vert =|c|\Vert \mathbf{v}\Vert$
$\Vert \mathbf{v}+\mathbf{w}\Vert \le \Vert \mathbf{v}\Vert +\Vert \mathbf{w}\Vert$

向量范数

Hölder范数/ p范数/ Lp范数: 为x向量各个元素绝对值p次方之和的1/p次方$${\Vert \mathbf{v}\Vert }_p=({\left|v_1\right|}^p+\cdots +{\left|v_n\right|}^p{)}^{1/p}$$
常用的Lp范数（p一般取1到无穷大)：

• ${\ell }^1$范数 / 曼哈顿范数：${\Vert \mathbf{v}\Vert }_1=\left|v_1\right|+\cdots +\left|v_n\right|$
  ${\ell }^1$范数较小的向量，表现为稀疏的，即大部分元素为零
• ${\ell }^2$范数 / 欧式范数：${\Vert \mathbf{v}\Vert }_2=\sqrt{{\left|v_1\right|}^2+\cdots +{\left|v_n\right|}^2}$
  ${\ell }^2$范数较小的向量，包含很多较小分量（这是因为一个大分量平方后比重很大），最小化${\ell }^2$范数类似于最小二乘法
• ${\ell }^{\infty }$范数：${\Vert \mathbf{v}\Vert }_{\infty }=\max \left|v_i\right|$

类比可得${\ell }^0$范数${\Vert \mathbf{v}\Vert }_0$ = $\mathbf{v}$中非零分量的个数，可以描述稀疏性
但是注意，这不是一个真正的范数，因为它违反了范数规则(${\Vert 2\mathbf{v}\Vert }_0$=${\Vert \mathbf{v}\Vert }_0$)

向量范数的几何意义

在${\mathbf{R}}^2$空间中，在不同Lp范数下，满足范数=1的向量集合如图
（向量起点在原点，这里仅画出了向量的终点）

如图，满足${\Vert \mathbf{v}\Vert }_1=\left|v_1\right|+\left|v_2\right|=1$的向量集合构成一个菱形；满足${\Vert \mathbf{v}\Vert }_2=\sqrt{{\left|v_1\right|}^2+{\left|v_2\right|}^2}=1$的向量集合构成一个圆；

从左到右，随着p的增大，该图像不断“向外膨胀”；
另外注意，上图中只有p取1到$\infty$时，得到合法的范数（符合范数规则），因而可以说：合法范数的集合图像都是凸的（而当p小于1，图像为凹的，可能对应了三角不等式等属性的丧失）

由图可得推论：对任意向量$\mathbf{v}$，有$\Vert \mathbf{v}{\Vert }_{\infty }\le \Vert \mathbf{v}{\Vert }_2\le \Vert \mathbf{v}{\Vert }_1\le \sqrt{n}\Vert \mathbf{v}{\Vert }_2$

证明：
①对于向量$[\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}]$，绘制各范数的等高线：

显然$\Vert \mathbf{v}{\Vert }_{\infty }\le \Vert \mathbf{v}{\Vert }_2\le \Vert \mathbf{v}{\Vert }_1$
②已经知道$\Vert \mathbf{v}{\Vert }_2\le \Vert \mathbf{v}{\Vert }_1$，
固定使$\Vert \mathbf{v}{\Vert }_2=1$，对应下图中红色圆上的所有点；
那么圆上所有点中，$\Vert \mathbf{v}{\Vert }_1$最小为1，最大为$\sqrt{2}$，显然$\Vert \mathbf{v}{\Vert }_2\le \Vert \mathbf{v}{\Vert }_1\le \sqrt{n}\Vert \mathbf{v}{\Vert }_2$

另一类范数是 椭圆范数/ S范数：$${\Vert \mathbf{v}\Vert }_S=\sqrt{{\mathbf{v}}^T\mathbf{S}\mathbf{v}}$$其中，$\mathbf{S}$是对称正定矩阵/Hermite正定矩阵，而外面的根号是为了保证范数的性质${\Vert c\mathbf{v}\Vert }_S=c{\Vert \mathbf{v}\Vert }_S$
之所以称为“椭圆范数”，是因为该范数与二次型有关，而且正定二次型的横截面就是椭圆

例如，当$\mathbf{S}=\left[\begin{array}{cc}2& 0\\ 0& 3\end{array}\right]$，${\Vert \mathbf{v}\Vert }_S^2=2v_1^2+3v_2^2=1$的图像为一个椭圆，这相当于一种用2和3加权后的范数
当$\mathbf{S}=\mathbf{I}$，椭圆范数退化为${\ell }^2$范数

范数最小化的优化问题

一个经典的优化问题模型是：

$\min \Vert \mathbf{x}\Vert ,s.t.\mathbf{A}\mathbf{x}=\mathbf{b}$

在L1和L2范数下，最优解的图解：

在几何上，$\mathbf{A}\mathbf{x}=\mathbf{b}$的解空间构成一个流形（上面的直线）；
菱形/圆形对应了L1和L2范数的“等高线”，想象菱形/圆形从原点不断向外扩张，它们第一次与直线的交点，就是问题的解

在最优化中，L1范数最小化的方法，称为基追踪（basis pursuit）；
L2范数最小化的方法称为岭回归（ridge regression），有点类似最小二乘法

赋范向量空间与内积空间

若向量空间有定义良好的范数，我们称之为赋范向量空间（normed vector space）

前置知识：内积空间
内积是实或复向量空间中的一种数值函数，内积满足以下性质：

• Hermitian 对称性：$⟨\mathbf{x},\mathbf{y}⟩=\overline{⟨\mathbf{y},\mathbf{x}⟩}$（上横线为共轭）
• 共轭双线性：
  $⟨\mathbf{x},\mathbf{y}+\mathbf{z}⟩=⟨\mathbf{x},\mathbf{y}⟩+⟨\mathbf{x},\mathbf{z}⟩$、
  $⟨\mathbf{x},c\mathbf{y}⟩=c⟨\mathbf{x},\mathbf{y}⟩$
• 正定性：$⟨\mathbf{x},\mathbf{x}⟩\ge 0$，$⟨\mathbf{x},\mathbf{x}⟩=0$当且仅当$\mathbf{x}=0$

满足上述条件的向量空间称为内积空间 （inner product space）
详见：内积的定义

在内积空间中，广义矢量范数也可定义于内积运算上：$$\Vert \mathbf{x}\Vert =\sqrt{⟨\mathbf{x},\mathbf{x}⟩}$$
这就是说，内积空间是一个赋范向量空间

重要不等式

• Hölder 不等式：$|{\mathbf{x}}^H\mathbf{y}|\le \Vert \mathbf{x}{\Vert }_p\Vert \mathbf{y}{\Vert }_q$（其中$p,q>1$且$1/p+1/q=1$）

当 $p=q=2$，Hölder 不等式退化为 Cauchy-Schwarz 不等式

• Cauchy-Schwarz 不等式：$|⟨\mathbf{x},\mathbf{y}⟩|=|{\mathbf{x}}^H\mathbf{y}|\le \Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert$（内积绝对值<=长度的乘积）
  由Cauchy-Schwarz 不等式可以导出三角不等式：$\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$

Hölder 不等式还可以用于证明Minkowski 不等式（“p范数下的三角不等式”）

• Minkowski 不等式：$\Vert \mathbf{x}+\mathbf{y}{\Vert }_p\le \Vert \mathbf{x}{\Vert }_p+\Vert \mathbf{y}{\Vert }_p$

reference：
MIT 18.065—机器学习中的矩阵方法08 向量和矩阵的范数
赋范向量空间
向量范数
矩阵范数