高级优化理论与方法（一）

前言

这是一个新的系列。我这个学期选了一门《高级优化理论与方法》的课，想着反正要做笔记，不如直接做电子笔记，于是就有了这个系列。由于这门课是一周上一次，所以我基本上会保持一周一更的速度。内容会从易到难。

我们老师的讲稿都是英文的，板书也是英文的。简洁起见，我这里就保留英文板书的原汁原味。但是由于本人的英文水平有限，所以还是偶尔会在里面穿插一些中文。看到中文，大概率是我自己加的注释。

由于是课堂笔记，所以里面的内容可能会有一些小错误，或者不那么严谨的地方，还请大家多多包容，批评指正。

基本概念

优化的概念

定义

Def: Given a function $f:A\to {\mathbb{R}}^n$, where $A\subseteq {\mathbb{R}}^n$
sought $x\in A,s.t.$
$$\{\begin{array}{l}f(x_0)\le f(x),\forall x\in A(minimizer)\\ f(x_0)\ge f(x),\forall x\in A(maximizer)\end{array}$$

注：在本系列中，如未明确说明，则默认是求最小值。

$f$: objective function（目标函数）
$A$:constraint（限制条件）

优化的写法

对于优化，可简写为
min/max f(x)
subject to $x\in A$

邻域

Neighborhood of $x^{\ast }\in {\mathbb{R}}^n$ for $ϵ>0$: N ϵ ( x ∗ ) = { x ∈ R n : ∣ ∣ x − x ∗ ∣ ∣ ≤ ϵ } N_{\epsilon}(x^*)=\{x\in \mathbb{R}^n:||x-x^*||\leq\epsilon\} Nϵ​(x∗)={x∈Rn:∣∣x−x∗∣∣≤ϵ}

局部最优

$x^{\ast }$ is a local optimizer, if $\exists ϵ>0,\forall x\in N_{ϵ}(x^{\ast }),f(x)\ge f(x^{\ast })$

Terms(术语）：

$A$: feasible set（可行解集）
$x\in A$: feasible solution/vector（可行解）
$x^{\ast }$: local/global optimal (feasible) solution（局部/全局最优解）
$f(x^{\ast })=mi{n}_{x\in A}f(x),x^{\ast }=argmi{n}_{x\in A}f(x)$

可行方向

定义

Def: feasible direction（可行方向）
A vector $d\in {\mathbb{R}}^n(d\ne 0)$,is a feasible direction at $x\in A\subseteq {\mathbb{R}}^n$,if $\exists {\alpha }_0({\alpha }_0\in \mathbb{R})$ s.t.$\forall \alpha \in [0,{\alpha }_0],x+\alpha d\in A$

注：对于$d\in {\mathbb{R}}^n$，默认$||d||=1$。

内部点

interior point: 任意方向都是可行方向的点。

极限点

extreme point: 有些方向是可行方向，有些方向不可行的点。

边界

boundary:极限点的集合。

导数

一阶导

Def: First-Order Derivative
$f:{\mathbb{R}}^n\to \mathbb{R},x=[x_1,x_2,\cdots ,x_n{]}^T\in {\mathbb{R}}^n$
$Df\stackrel{\Delta }{=}[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n}]$
Gradient（梯度）：$\nabla f=(Df{)}^T$
注：默认向量是列向量，$x$是列向量，梯度也是列向量。

二阶导

Second-Order Derivative: Hessian Matrix
$$F(x)=\left[\begin{array}{ccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_1\partial x_n}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
注：黑塞矩阵也可以用$H(x)$来表示。

例子

$f(x_1,x_2)=5x_1+8x_2+x_1{x}_2-x_1^2-2x_2^2$

$Df(x)=(\nabla f(x){)}^T=[5+x_2-2x_1,8+x_1-4x_2]$
$$H(x)=\left[\begin{array}{cc}-2& 1\\ 1& -4\end{array}\right]$$

方向导数

$x=x_0+\alpha d$

$\frac{\partial f}{\partial d}(x)={\frac{d}{d\alpha }f(x_0+\alpha d)|}_{\alpha =0}=d^T\cdot \nabla f(x_0)=<\nabla f(x_0),d>$

$<\cdot >$表示向量的内积。

注：该公式可以这么理解，在$d$这个方向上，$f(x_0+\alpha d)$就是一个关于$\alpha$的函数。

例子

$f(x)=x_1{x}_2{x}_3,d=[\frac{1}{2},\frac{1}{2},\frac{1}{\sqrt{2}}{]}^T$
$$\frac{\partial f}{\partial d}(x)=\nabla f(x{)}^T\cdot d=[x_2{x}_3,x_1{x}_3,x_1,x_2]\cdot \left[\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\\ \frac{1}{\sqrt{2}}\end{array}\right]=\frac{x_2{x}_3+x_1{x}_3+\sqrt{2}{x}_1{x}_2}{2}$$

Unconstrained Optimization（无约束优化）

FONC

First-Order Necessary Condition (FONC):
Theorem: Let $\Omega$ be a subset of ${\mathbb{R}}^n$ and $f\in C^1$:a real valued function on $\Omega$. If $x^{\ast }$ is a local minimizer of f over $\Omega$, then for any feasible direction $d$ a $x^{\ast }$, we have $d^T\cdot \nabla f(x^{\ast })\ge 0$.

该定理意为连续函数的最小点处的任意方向导数恒为非负。

注：$f\in C^1$表示 $f$是连续函数，即$f$在各点处的导数均存在；
$f\in C^2$表示 $f$的导数连续，即$f$在各点处的二阶导数均存在。

证明

Pick an arbitrary feasible direction $d$ at $x^{\ast }$.

Define $x(\alpha )=x^{\ast }+\alpha d\Rightarrow \alpha >0,x(0)=x^{\ast }$

$\varphi (x)=f(x(\alpha ))$

Taylor’s Theorem: $f(x^{\ast }+\alpha d)-f(x^{\ast })=\varphi (\alpha )-\varphi (0)={\varphi }^{\prime }(0)\alpha +o(\alpha )$

$\because x\ast$ local minimizer

$\therefore {\varphi }^{\prime }(0)\alpha +o(\alpha )\ge 0$

$\therefore {\varphi }^{\prime }(0)\ge \frac{o(\alpha )}{\alpha }\to 0$

$\therefore {\varphi }^{\prime }(0)\ge 0$

$\therefore {\varphi }^{\prime }(0)=d^T\cdot \nabla f(x^{\ast })\ge 0$

推论

Corollary (interior point): If $x^{\ast }$ is an interior point and closed minimizer, then $\nabla f(x^{\ast })=0$

推论的证明

$$\forall d\in {\mathbb{R}}^n,\{\begin{array}{l}{d}^T\nabla f(x^{\ast })\ge 0\\ -d^T\nabla f(x^{\ast })\ge 0\end{array}\Rightarrow \nabla f(x^{\ast })=0$$

例子

min $x_1^2+0.5x_2^2+3x_2+4.5$
s.t. $x_1,x_2\ge 0$

Ω = { x ∣ x 1 ≥ 0 , x 2 ≥ 0 } \Omega=\{x|x_1\geq0,x_2\geq0\} Ω={x∣x1​≥0,x2​≥0}

$\nabla f(x)=[2x_1,x_2+3{]}^T$

①$x^{\ast }=[1,3{]}^T,\nabla f(x^{\ast })=[2,6{]}^T$
$d=[d_1,d_2{]}^T$
$d^T\nabla f(x^{\ast })=2d_1+6d_2$
取$d_1=0,d_2=-1$，上式小于0，故$[1,3{]}^T$不为最小值点。

②$x^{\ast }=[0,3{]}^T,\nabla f(x^{\ast })=[0,6{]}^T$
此时$d_1\ge 0$，$d_2$可正可负。
取$d_1=0,d_2=-1$，上式小于0，故$[0,3{]}^T$不为最小值点。

③$x^{\ast }=[1,0{]}^T,\nabla f(x^{\ast })=[2,3{]}^T$
此时$d_2\ge 0$，$d_1$可正可负。
取$d_1=-1,d_2=0$，上式小于0，故$[1,0{]}^T$不为最小值点。

④$x^{\ast }=[0,0{]}^T,\nabla f(x^{\ast })=[0,3{]}^T$
此时$d_1\ge 0$，$d_2\ge 0$。
$d^T\nabla f(x^{\ast })=3d_2\ge 0$
$[0,0{]}^T$满足FONC，可能为最小值点。经检验，该点确实为最小值点。

SONC

Second-Order Necessary Condition:
Theorem: Let $\Omega$ be a subset of ${\mathbb{R}}^n$ and $f\in C^2$: a real-valued function on $\Omega$, $x^{\ast }$ a local minimizer of $f$ over $\Omega$, and $d$ a feasible direction at $x^{\ast }$. If $d^T\nabla f(x^{\ast })=0$, then $d^{T}F(x^{\ast })d\ge 0$, where F(x) is the Hessian of $f$.

证明

Suppose $d^{T}F(x)d<0$

Define $x(\alpha )=x^{\ast }+\alpha d,\varphi (x)=f(x(\alpha ))$

Taylor’s Theorem: $\varphi (x)=\varphi (0)+{\varphi }^{\prime }(0)\alpha +\frac{{\alpha }^2}{2}{\varphi }^{\prime }(0)+o({\alpha }^2)$

$\because d^T\nabla f(x^{\ast })=0$

$\therefore {\varphi }^{\prime }(0)=0$

$\therefore \varphi (\alpha )-\varphi (0)=\frac{{\alpha }^2}{2}{\varphi }^{\prime }(0)+o({\alpha }^2)\ge 0$

$\therefore {\varphi }^{\prime }(0)\ge \frac{2o({\alpha }^2)}{{\alpha }^2}\to 0$

$\therefore {\varphi }^{\prime }(0)\ge 0$

$d^{T}F(x^{\ast })d={\varphi }^{\prime }(0)\ge 0$

推论

Corollary (interior point):
If $x^{\ast }$ is an interior point and local minimizer, then $\forall d\in \mathbb{R}:d^{T}F(x^{\ast })d\ge 0$.
注：此时，$F(x^{\ast })$是半正定阵，即$F(x^{\ast })\ge 0$

总结

本节课介绍了优化理论的最基础的一些概念，以及导数的概念。在介绍完基本概念之后，介绍了几个无约束优化中最基础的定理。目前给出了两个找最值点的必要条件，分别是FONC和SONC，可用于否定一些点是最值点的可能性，但是不太适合用来找最值点。下节课将介绍找最值点的一个充分条件SOSC，并给出一些找最值点的方法。