二 基础知识

一、范数

1.1 向量范数

定义2.1（范数）

称一个从向量空间${\mathbb{R}}^n$到实数域$\mathbb{R}$的非负函数||$\cdot$||为范数，如果它满足：

1. 正定性：对于所有的$v\in \mathbb{R}$，有$\Vert v\Vert \ge 0$，且$\Vert v\Vert =0$当且仅当$v=0$
2. 齐次性：对于所有的$v\in \mathbb{R}$和$\alpha \in \mathbb{R}$，有$\Vert \alpha v\Vert =|\alpha |\Vert v\Vert$
3. 三角不等式：对于所有的$v,w\in \mathbb{R}$，有$\Vert v+w\Vert \le \Vert v\Vert +\Vert w\Vert$

最常用的向量范数为${\ell }_p$范数（$p\ge 1$）：

$\Vert v{\Vert }_p=(|v_1{|}^p+|v_2{|}^p+\cdots +|v_n{|}^p{)}^{\frac{1}{p}}$

当$p=\infty$时，${\ell }_{\infty }$范数定义为：

$\Vert v{\Vert }_{\infty }=\underset{i}{\max }|v_i|$

注意，在不引起歧义的情况下，有时候省略${\ell }_2$范数的角标，直接记为$\Vert \cdot \Vert$。在最优化问题算法构造和分析中，也常常遇到由正定矩阵$A$诱导的范数，即$\Vert x{\Vert }_A\stackrel{\text{def}}{=}\sqrt{x^{T}Ax}$。

对向量的${\ell }_2$范数，我们有最常用的柯西不等式：

命题2.1（柯西不等式）

设$a,b\in {\mathbb{R}}^n$，则：

$|a^{T}b|\le \Vert a{\Vert }_2\Vert b{\Vert }_2$

等号成立当且仅当a与b线性相关

1.2 矩阵范数

和向量范数相似，矩阵范数是定义在矩阵空间上的非负函数，并且满足正定性、齐次性和三角不等式。向量的${\ell }_p$范数可以比较容易地推广到矩阵的${\ell }_p$范数，常用$p=1,2$的情形。当$p=1$时，矩阵$A\in {\mathbb{R}}^{m\times n}$的${\ell }_1$范数定义为：

$\Vert A{\Vert }_1=\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$

即$\Vert A{\Vert }_1$为$A$中所有元素绝对值的和。当p=2时，此时得到的是矩阵的Frobenius范数（下称 $F$ 范数），记为$\Vert A{\Vert }_F$。它可以看成是向量的${\ell }_2$范数的推广，即所有元素平方和开根号：

$\Vert A{\Vert }_F=\sqrt{Tr(A{A}^T)}=\sqrt{\sum _{i,j}{a}_{ij}^2}(2.1.1)$

这里，$Tr(X)$表示方阵$X$的迹。矩阵的$F$范数具有正交不变性，即对于任意的正交矩阵$U\in {\mathbb{R}}^{m\times m},V\in {\mathbb{R}}^{n\times n}$，我们有：

$\Vert UAV{\Vert }_F^2=Tr(UAV{V}^T{A}^T{U}^T)=Tr(UA{A}^T{U}^T)=Tr(A{A}^T{U}^{T}U)=Tr(A{A}^T)=\Vert A{\Vert }_F^2$

其中第三个等号成立是因为$Tr(AB)=Tr(BA)$

除了从向量范数直接推广以外，矩阵范数还可以由向量范数诱导出来，一般称这种范数为算子范数。给定矩阵

1.3 矩阵内积

对于矩阵空间${\mathbb{R}}^{m\times n}$的两个矩阵A和B，除了定义它们各自的范数以外，我们还可以定义它们之间的内积。范数一般用来衡量矩阵的模的大小，而内积一般用来表征两个矩阵（或其张成的空间？）之间的夹角。这里，我们介绍一种常用的内积——Frobenius内积。$m\times n$矩阵A和B的Frobenius内积定义为：

$$⟨A,B⟩\stackrel{def}{=}Tr(A{B}^T)=\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}{b}_{ij}$$

易知其为两个矩阵逐分量相乘的和，因而满足内积的定义。当A=B时，$⟨A,B⟩$等于矩阵A的F范数的平方。

和向量范数相似，我们也有矩阵范数对应的柯西不等式：

二、导数

2.1 梯度与海瑟矩阵

定义2.2（梯度）

给定函数$f:{\mathbb{R}}^n\to \mathbb{R}$，且点$f$在点$x$的一个邻域内有意义，若存在向量$g\in {\mathbb{R}}^n$满足：

$\underset{p\to 0}{\lim }\frac{f(x+p)-f(x)-g^{T}p}{\Vert p\Vert }=0(2.2.1)$

其中$\Vert \cdot \Vert$是任意的向量范数，就称$f$在点$x$处可微。此时$g$称为$f$在点$x$处的梯度，记作$\nabla f(x)$。如果对区域$D$上的每一个点$x$都有$\nabla f(x)$存在，则称$f$在$D$上可微。

若$f$在点$x$处的梯度存在，在(2.2.1)式中令$p=ϵe_i$，$e_i$是第$i$个分量为1的单位向量，可知$\nabla f(x)$的第$i$个分量为$\frac{\partial f(x)}{\partial x_i}$。因此，

$\nabla f(x)=[\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\dots ,{\frac{\partial f(x)}{\partial x_n}}^T]$

如果只关心对一部分变量的梯度，可以通过对$\nabla$加下标来表示。例如，${\nabla }_{x}f(x,y)$表示将$y$视为常数时$f$关于$x$的梯度。

对应于一元函数的二阶导数，对于多元函数我们可以定义其海瑟矩阵：

定义2.3（海瑟矩阵）

如果函数$f(x):{\mathbb{R}}^n\to \mathbb{R}$在点$x$处的二阶偏导数$\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}i,j=1,2,\dots ,n$都存在，则：

${\nabla }^{2}f(x)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \dots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$

称为$f$在点$x$处的海瑟矩阵。

当${\nabla }^{2}f(x)$在区域$D$上的每个点$x$处都存在时，称$f$在$D$上二阶可微。若${\nabla }^{2}f(x)$在$D$上还连续，则称$f$在$D$上二阶连续可微，可以证明此时海瑟矩阵是一个对称矩阵。

当$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$是向量值函数时，我们可以定义它的雅克比矩阵$J(x)\in {\mathbb{R}}^{n\times m}$，它的第$i$行是分量$f_i(x)$梯度的转置，即：

$J(x)=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \dots & \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \dots & \frac{\partial f_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \frac{\partial f_m}{\partial x_2}& \dots & \frac{\partial f_m}{\partial x_n}\end{array}\right]$

注意，梯度$\nabla f(x)$的雅克比矩阵就是$f(x)$的海瑟矩阵。

多元函数的泰勒展开如下：

定理2.1：

设$f:{\mathbb{R}}^n\to \mathbb{R}$是连续可微的，$p\in {\mathbb{R}}^n$为向量，那么：

$f(x+p)=f(x)+\nabla f(x+tp{)}^{T}p$

其中$0<t<1$。进一步地，如果$f$是二阶连续可微的，则：

$\nabla f(x+p)=\nabla f(x)+{\int }_0^1{\nabla }^{2}f(x+tp)pdt$

$f(x+p)=f(x)+\nabla f(x{)}^{T}p+\frac{1}{2}{p}^T{\nabla }^{2}f(x+tp)p$

其中$0<t<1$

最后我们介绍一类特殊的可微函数——梯度利普希茨（Lipschitz）连续的函数。该类函数在很多优化算法收敛证明中起着关键作用。

定义2.4（梯度利普希茨（Lipschitz）连续）

给定可微函数$f$，若存在$L>0$，对任意的$x,y\in domf$有：

$\Vert \nabla f(x)-\nabla f(y)\Vert \le L\Vert x-y\Vert$

则称$f$是梯度利普希茨连续的，相应利普希茨常数为$L$，有时也简记为梯度$L$-利普希茨连续或$L$-光滑。

梯度利普希茨连续表明$\nabla f(x)$的变化可以被自变量$x$的变化所控制，满足该性质的函数具有很多很好的性质，一个重要的性质是使其具有二次上界。

引理2.1（二次上界）

设可微函数$f(x)$的定义域$domf={\mathbb{R}}^n$，且为梯度$L-$利普希茨连续的，则函数$f(x)$有二次上界：

$f(y)\le f(x)+\nabla f(x{)}^T(y-x)+\frac{L}{2}\Vert y-x{\Vert }^2,\forall x,y\in domf(2.2.3)$

引理2.1实际上指的是$f(x)$可被一个二次函数上界所控制，即要求$f(x)$的增长速度不超过二次。实际上，该引理对$f(x)$定义域的要求可减弱为$domf$是凸集（见定义2.13），此条件的作用是保证证明中的$g(t)$当$t\in [0,1]$时是有定义的。

若$f$是梯度利普西茨连续的，且有一个全局极小点$x^{\ast }$，一个重要的推论就是我们能够利用二次上界（2.2.3）来估计$f(x)-f(x^{\ast })$的大小，其中$x$可以是定义域中的任意一点。

推论2.1

设可微函数$f(x)$的定义域为${\mathbb{R}}^n$且存在一个全局极小点$x^{\ast }$，若$f(x)$为梯度$L$-利普西茨连续的，则对任意的$x$有：

$\frac{1}{2L}\Vert f(x){\Vert }^2\le f(x)-f(x^{\ast })(2.2.5)$

3 广义实值函数

数学分析课程中给出了函数的基本概念：函数是从向量空间${\mathbb{R}}^n$到实数域$\mathbb{R}$的映射。而在最优化领域，经常涉及对某个函数其中的一个变量取$\text{inf(sup)}$操作，这导致函数的取值可能为无穷。为了能够更方便地描述优化问题，我们需要对函数的定义进行某种扩充。

定义 2.6 （广义实值函数）令 R ‾ = d e f R ∪ { ± ∞ } \overline{\mathbb{R}}\overset{def}{=}\mathbb{R}\cup\{\pm\infty\} R=defR∪{±∞}为广义实数空间，则映射$f:{\mathbb{R}}^n\to \overline{\mathbb{R}}$称为广义实值函数。

从广义实值函数的定义可以看出，其值域多了两个特殊的值$\pm \infty$
。和数学分析一样，我们规定：

$$-\infty <a<+\infty ,\forall a\in \mathbb{R}$$

以及

$$(+\infty )+(+\infty )=+\infty ,+\infty +a=+\infty ,\forall a\in \mathbb{R}$$

3.1 适当函数

适当函数是一类很重要的广义实值函数，很多最优化理论都是建立在
适当函数之上的．

定义 2.7 （适当函数）

给定广义实值函数 $f$ 和非空集合 $\mathcal{X}$．如果存在 $x\in \mathcal{X}$ 使得 $f(x)<+\infty$，并且对任意的 $x\in \mathcal{X}$，都有 $f(x)>-\infty$，那么称函数 $f$ 关于集合 $\mathcal{X}$ 是适当的．

概括来说，适当函数 $f$ 的特点是“至少有一处取值不为正无穷”，以及
“处处取值不为负无穷”．对最优化问题 $\underset{x}{\min }f(x)$，适当函数可以帮助去掉一些我们不感兴趣的函数，从而在一个比较合理的函数类中考虑最优化问题． 我们约定：在本书中若无特殊说明，定理中所讨论的函数均为适当函数．

对于适当函数$f$，规定其定义域

dom f = { x ∣ f ( x ) < + ∞ } \text{dom} f=\{x|f(x)<+\infty\} domf={x∣f(x)<+∞}

正是因为适当函数的最小值不可能在函数值为无穷处取到，因此$\text{dom}f$的定义方式是自然的。

4 凸集

4.1 凸集的相关定义

对于${\mathbb{R}}^n$中的两个点$x_1\ne x_2$，形如：

$$y=\theta x_1+(1-\theta )x_2=x_2+\theta (x_1-x_2)$$

的点形成了过点$x_1$和$x_2$的直线，当$0\le \theta \le 1$时，这样的点形成了连接点$x_1$与$x_2$的线段。

定义2.12

如果过集合$C$中任意两点的直线都在$C$内，则称$C$为仿射集，即：

$$x_1,x_2\in C⟹\theta x_1+(1-\theta )x_2\in C,\forall \theta \in \mathbb{R}$$

线性方程组$Ax=b$的解集是仿射集（反之任何仿射集都可以表示成一个线性方程组的解集），证明如下：

首先用公式对问题进行表示：

C = { x ∣ A x = b } , A ∈ R m × n , b ∈ R m , x ∈ R n C=\{x|Ax=b\},A\in\mathbb{R}^{m\times n},b\in\mathbb{R}^m,x\in\mathbb{R}^n C={x∣Ax=b},A∈Rm×n,b∈Rm,x∈Rn

证明过程如下：

$$\begin{gathered} \forall x_1,x_2\in C,A{x}_1=b,A{x}_2=b,\theta \in \mathbb{R} \\ A(\theta x_1+(1-\theta )x_2)=\theta A{x}_1+(1-\theta )A{x}_2=\theta b+(1-\theta )b=b \\ \therefore \forall \theta \in \mathbb{R},x_1+(1-\theta )x_2\in C \end{gathered}$$

从上面的证明就得到了任何一个线性方程组的解集一定是一个仿射集。

定义2.13

如果连接集合$C$中任意两点的线段都在$C$内，则称$C$为凸集，即：

$$x_1,x_2\in C⟹\theta x_1+(1-\theta )x_2\in C,\forall 0\le \theta \le 1$$

从仿射集的定义容易看出仿射集都是凸集。下面给出一些凸集和非凸集的例子：

例2.2 在图2.4中，(a)为凸集，(b)©为非凸集，其中©不包含部分边界点：

从凸集可以引出凸组合和凸包等概念．形如

$$\begin{gathered} x={\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_k{x}_k, \\ {\theta }_1+{\theta }_2+\cdots +{\theta }_k=1,{\theta }_i\ge 0,i=1,2,\dots ,k \end{gathered}$$

的点称为 $x_1,x_2,\cdots ,x_k$ 的凸组合．集合 S 中点所有可能的凸组合构成的集合称作 S 的凸包，记作 convS．实际上，convS 是包含 S 的最小的凸集．如图2.5所示，左边的为离散点集的凸包，右边的为扇形的凸包．

若在凸组合的定义中去掉 ${\theta }_i\ge 0$ 的限制，我们可以得到仿射包的概念．

定义2.14（仿射包） ：设 $\mathcal{S}$ 为 ${\mathbb{R}}^n$ 的子集，称如下集合为 S 的仿射包：

{ x ∣ x = θ 1 x 1 + θ 2 x 2 + ⋯ + θ k x k , x 1 , x 2 , ⋯   , x k ∈ S , θ 1 + θ 2 + ⋯ + θ k = 1 } \{x|x=\theta_1x_1+\theta_2x_2+\cdots+\theta_kx_k,\quad x_1,x_2,\cdots,x_k\in\mathcal{S},\quad \theta_1+\theta_2+\cdots+\theta_k=1\} {x∣x=θ1​x1​+θ2​x2​+⋯+θk​xk​,x1​,x2​,⋯,xk​∈S,θ1​+θ2​+⋯+θk​=1}，记为affine S。

图 2.6 展示了 ${\mathbb{R}}^3$ 中圆盘 $\mathcal{S}$ 的仿射包，其为一个平面．

一般而言，一个集合的仿射包实际上是包含该集合的最小的仿射集，这个概念在之后我们讨论凸问题最优性条件的时候会用到．

形如：

$$x={\theta }_1{x}_1+{\theta }_2{x}_2,{\theta }_1>0,{\theta }_2>0$$

的点称为点 $x_1,x_2$ 的锥组合．若集合 S 中任意点的锥组合都在 S 中，则称 S为凸锥，如图2.7所示．

4.2 重要的凸集

下面将介绍一些重要的凸集。这些凸集在实际问题中常常会遇到。

4.2.1 超平面和半空间

任取非零向量$a$，形如 { x ∣ a T x = b } \{x|a^Tx=b\} {x∣aTx=b}的集合称为超平面，形如 { x ∣ a T x ≤ b } \{x|a^Tx\le b\} {x∣aTx≤b}的集合称为半空间（如图2.8所示）：

$a$是对应的超平面和半空间的法向量。一个超平面将${\mathbb{R}}^n$分为两个半空间。容易看出，超平面是仿射集和凸集，半空间是凸集不是仿射集。

4.2.2 球、椭球、锥

球和椭球也是常见的凸集。球是空间中到某个点距离（或两者差的范数）小于某个常数的点的集合，并将：

B ( x c , r ) = { x ∣ ∥ x − x c ∥ 2 ≤ r } = { x c + r u ∣ ∥ u ∥ 2 ≤ 1 } B(x_c,r)=\{x|\Vert x-x_c\Vert_2\le r\}=\{x_c+ru|\Vert u\Vert_2\le 1\} B(xc​,r)={x∣∥x−xc​∥2​≤r}={xc​+ru∣∥u∥2​≤1}

称为中心为$x_c$，半径为$r$的（欧几里得）球。而形如：

{ x ∣ ( x − x c ) T P − 1 ( x − x c ) ≤ 1 } \{x|(x-x_c)^TP^{-1}(x-x_c)\le1\} {x∣(x−xc​)TP−1(x−xc​)≤1}

的集合称为椭球，其中$P\in {\mathcal{S}}_{++}^n$（即$P$对称正定）。椭球的另一种表示为 { x c + A u ∣ ∥ u ∥ 2 ≤ 1 } \{x_c+Au|\Vert u\Vert_2\le1\} {xc​+Au∣∥u∥2​≤1}，$A$为非奇异的方阵。

在定义一个球时，并不一定要使用欧几里得空间的距离。对于一般的范数，同样可以定义”球“。令$\Vert \cdot \Vert$是任意一个范数：

{ x ∣ ∥ x − x c ∥ ≤ r } \{x|\Vert x-x_c\Vert\le r\} {x∣∥x−xc​∥≤r}

称为中心为$x_c$，半径为$r$的范数球。另外，我们称集合

{ ( x , t ) ∣ ∥ x ∥ ≤ t } \{(x,t)|\Vert x\Vert\le t\} {(x,t)∣∥x∥≤t}

为范数锥。欧几里得范数锥也成为二次锥。范数球和范数锥都是凸集。

4.2.3 多面体

我们把满足线性等式和不等式组的点的集合称为多面体，即：

{ x ∣ A x ≤ b , C x = d } \{x|Ax\le b,Cx=d\} {x∣Ax≤b,Cx=d}

其中$A\in {\mathbb{R}}^{m\times n},C\in {\mathbb{R}}^{p\times n},x\le y$表示向量x的每个分量均小于等于y的对应分量。多面体是有限个半空间和超平面的交集，因此是凸集。

4.2.4 （半）正定锥

4.3 保凸的运算

下面介绍证明一个集合（设为$C$）为凸集的两种方式。第一种是利用定义：

$$x_1，x_2\in C,0\le \theta \le 1⟹\theta x_1+(1-\theta )x_2\in C$$

来证明集合$C$是凸集。第二种方法是说明集合$C$可由简单的凸集（超平面、半空间、范数球等）经过保凸的运算后得到。为此，我们需要掌握一些常见的保凸运算。下面的两个定理分别说明了取交集和仿射变换这两种运算是保凸的。

定理 2.3 任意多个凸集的交为凸集，即若$C_i,i\in \mathcal{I}$是凸集，则：

$$\prod _{i\in \mathcal{I}}{C}_i$$

为凸集。这里$\mathcal{I}$是任意指标集（不要求可列）。

定理 2.4 设$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$是仿射变换$(f(x)=Ax+b,A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m)$，则：

（1）凸集在 $f$ 下的像是凸集：

$\mathcal{S}\subseteq {\mathbb{R}}^n$是凸集 $⟹$ f ( S ) = d e f { f ( x ) ∣ x ∈ S } f(\mathcal{S})\overset{def}{=}\{f(x)|x\in\mathcal{S}\} f(S)=def{f(x)∣x∈S}是凸集；

(2) 凸集在 $f$ 下的原像是凸集：

$C\subseteq {\mathbb{R}}^m$是凸集 ⟹ f − 1 ( C ) = d e f { x ∈ R n ∣ f ( x ) ∈ C } \Longrightarrow f^{-1}(C)\overset{def}{=}\{x\in\mathbb{R}^n|f(x)\in C\} ⟹f−1(C)=def{x∈Rn∣f(x)∈C}是凸集

注意缩放、平移和投影变换都是仿射变换，因此凸集经过缩放、平移或投影的像仍是凸集。利用仿射变换保凸的性质，可以证明线性矩阵不等式的解集

5 凸函数

5.1 凸函数的定义

定义 2.16 设函数$f$为适当函数，如果 $\text{dom}f$是凸集，且：

$$f(\theta x+(1-\theta )y\le \theta f(x)+(1-\theta )f(y)$$

对所有$x,y\in \text{dom}f,0\le \theta \le 1$都成立，则称$f$是凸函数

直观地来看，连接凸函数的图像上任意两点的线段都在函数图像上方，如图2.11所示：

相应地，我们也可以定义凹函数：若 −f 是凸函数，则称 f 是凹函数．
只要改变一下符号，很多凸函数的性质都可以直接应用到凹函数上．另外，如果 dom f 是凸集，且

$$f(\theta x+(1-\theta )y)<\theta f(x)+(1-\theta )f(y)$$

对所有的 $x,y\in \text{dom}f,x\ne y,0<\theta <1$成立，则称 $f$ 是严格凸函数．除了严格凸函数以外，还有另一类常用的凸函数：强凸函数．

定义 2.17 （强凸函数）若存在常数$m>0$，使得：

待补充 63

5.2 凸函数判定定理

凸函数的一个最基本的判定方式是：先将其限制在任意直线上，然后判
断对应的一维函数是否是凸的．如下面的定理所述，一个函数是凸函数当且仅当将函数限制在任意直线在定义域内的部分上时仍是凸的．

定理 2.8

5.4 凸函数的性质

1 连续性

凸函数不一定是连续函数，但下面这个定理说明凸函数在定义域中内点处是连续的。

定理 2.14 设$f:{\mathbb{R}}^n\to (-\infty ,+\infty ]$为凸函数。对任意点$x_0\in \text{int dom}f$，有$f$在点$x_0$处连续。这里$\text{int dom}f$表示定义域$\text{dom}f$的内点。

上面的定理表明凸函数”差不多“是连续的，它的一个直接推论为：

推论 2.3 设$f(x)$是凸函数，且$\text{dom}f$是开集，则$f(x)$在$\text{dom}f$上是连续的。

证明：由于开集中所有的点都为内点，利用定理2.14可直接得到结论。