高级优化理论与方法（精华版）

前言

这门课已经结课，马上就要考试了。在这里，我把一个学期的内容都整理一下，方便复习。这里就略过定义等基础内容，只有大致框架及重点内容。

无约束优化问题

必要条件和充分条件

FONC

FONC：一阶必要条件。若$x^{\ast }$为最小值点，则 $d^T\nabla f(x^{\ast })\ge 0$。若$x^{\ast }$为内点，则$d^T\nabla f(x^{\ast })=0$。

SONC

SONC：二阶必要条件。若$x^{\ast }$为最小值点，且$d^T\nabla f(x^{\ast })=0$，则$d^{T}F(x^{\ast })d\ge 0$。

SOSC

SOSC：二阶充分条件。若$x^{\ast }$满足$\{\begin{array}{l}\nabla f(x^{\ast })=0\\ F(x^{\ast })>0\end{array}$，则$x^{\ast }$是局部最小值点。

应用

求无约束优化问题的步骤：
计算$\nabla f(x)$和$F(x)$，找到满足$\{\begin{array}{l}\nabla f(x^{\ast })=0\\ F(x^{\ast })>0\end{array}$的点$x^{\ast }$。

例子

$f(x)=x_1^2+x_2^2$
$\nabla f(x)=[2x_1,2x_2{]}^T$

$H(x)=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]>0$

$x^{\ast }=[0,0{]}^T$

算法

一维搜索算法

梯度下降法

公式

$x^{k+1}=x^k-{\alpha }^k\nabla f(x^k)$， 其中 ${\alpha }^k=argminf(x^k-{\alpha }^k\nabla f(x^k))$

若$f(x)$为二次函数，即$f(x)=\frac{1}{2}{x}^{T}Qx-bx$ ，则${\alpha }^k=\frac{{g^k}^T\cdot g^k}{{g^k}^{T}Q{g}^k}$，其中 $g^k=\nabla f(x^k)=Q{x}^k-b$

应用

$f(x)=x_1^2+x_2^2\Rightarrow f(x)=\frac{1}{2}{x}^{T}Qx-bx$
$Q=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]$

$b=\left[\begin{array}{c}0\\ 0\end{array}\right]$

$\nabla f(x)=\left[\begin{array}{c}2x_1\\ 2x_2\end{array}\right]$

$F(x)=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]$

$x^0=\left[\begin{array}{c}1\\ 1\end{array}\right]$

$x^{k+1}=x^k-{\alpha }^k{g}^k$

$x^1=x^0-{\alpha }^0{g}^0$

$g^0=\nabla f(x^0)=\left[\begin{array}{c}2\\ 2\end{array}\right]$

${\alpha }^0=\frac{{g^0}^T{g}^0}{{g^0}^{T}Q{g}^0}=\frac{8}{[4,4]\cdot [2,2{]}^T}=\frac{8}{16}=\frac{1}{2}$

$x^1=[1,1{]}^T-\frac{1}{2}[2,2{]}^T=[0,0{]}^T$

$g^1=\nabla f(x^1)=\left[\begin{array}{c}0\\ 0\end{array}\right]$

牛顿法

一元函数：$x^{k+1}=x^k-\frac{f^{\prime }(x^k)}{f^{\prime \prime }(x^k)}$

多元函数：$x^{k+1}=x^k-[F(x^k){]}^{-1}\nabla f(x^k)$

针对二次函数的算法

共轭方向法

公式

二次函数情形下：
$x^{k+1}=x^k-{\alpha }^k\nabla f(x^k)$

$g^k=\nabla f(x^k)=Q{x}^k-b$

${\alpha }^k=-\frac{{g^k}^T{d}_k}{d_k^{T}Q{d}_k}$

$x^{k+1}=x^k+{\alpha }^k{d}_k$
其中$d_0,d_1,\cdots ,d_n$是一组共轭方向向量。

应用

求$f(x)=\frac{1}{2}{x}^T\left[\begin{array}{cc}4& 2\\ 2& 2\end{array}\right]x-[-1,1]x$的最小值。

$g(x)=\left[\begin{array}{cc}4& 2\\ 2& 2\end{array}\right]x-\left[\begin{array}{c}-1\\ 1\end{array}\right]$

选取$x^0=\left[\begin{array}{c}0\\ 0\end{array}\right]$

选取$d_0=\left[\begin{array}{c}1\\ 0\end{array}\right]$

$d_0^T\left[\begin{array}{cc}4& 2\\ 2& 2\end{array}\right]d_1=0\Rightarrow \left[\begin{array}{c}4\\ 2\end{array}\right]d_1=0$

选取$d_1=\left[\begin{array}{c}-\frac{3}{8}\\ \frac{3}{4}\end{array}\right]$

$g^0=\left[\begin{array}{c}1\\ -1\end{array}\right]$

${\alpha }^0=\frac{-{g^0}^T{d}_0}{d_0^{T}Q{d}_0}=\frac{-[1,-1]\left[\begin{array}{c}1\\ 0\end{array}\right]}{[1,0]\left[\begin{array}{cc}4& 2\\ 2& 2\end{array}\right]\left[\begin{array}{c}1\\ 0\end{array}\right]}=-\frac{1}{4}$

$x^1=x^0+{\alpha }^0{d}_0=\left[\begin{array}{c}-\frac{1}{4}\\ 0\end{array}\right]$

$g^1=\left[\begin{array}{c}0\\ -\frac{3}{2}\end{array}\right]$

${\alpha }^1=2$

$x^2=\left[\begin{array}{c}-1\\ \frac{3}{2}\end{array}\right]$

$f(x^2)=0$

共轭梯度法

输入: $f(x)=\frac{1}{2}{x}^{T}Qx-b^{T}x,x^0$

1. $k=0$
2. compute $g^0=\nabla f(x^0)$, If $g^0=0$, then stop; else $d_0=-g^0$
3. ${\alpha }^k=-\frac{{g^k}^T{d}_k}{{d_k}^{T}Q{d}_k}$
4. $x^{k+1}=x^k+{\alpha }^k{d}_k$
5. $g^{k+1}=\nabla f(x^{k+1})$, If $g^{k+1}=0$ then stop;
6. ${\beta }^k=\frac{{g^{k+1}}^{T}Q{d}_k}{{d_k}^{T}Q{d}_k}$
7. $d^{k+1}=-g^{k+1}+{\beta }^k{d}_k$
8. $k$++, goto 3

条件优化问题

线性规划

形式

min/max $f(x)=c^{T}x={\sum }_{i=1}^n{c}_i{x}_{ij},c\in {\mathbb{R}}^n,x\in {\mathbb{R}}^n$
s.t. $\{\begin{array}{l}{a}_{11}{x}_1+\cdots +a_{1n}{x}_n>b_1\\ a_{21}{x}_1+\cdots +a_{2n}{x}_n\le b_2\\ \cdots \\ a_{m1}{x}_1+\cdots +a_{mn}{x}_n\ge b_m\end{array}$
$b_i\in \mathbb{R},\forall 1\le i\le m$
$a_{ij}\in \mathbb{R},\forall 1\le i\le n,1\le j\le m$

单纯形法

算法

Simplex: Given an initial basis B

1. Compute: $[A,b]=[B,D,b]\to [I,Y,y_0]$
2. Compute: $\forall m+1\le j\le n:r_j=c_j-z_j$
3. If $\forall j:r_j\ge 0$, then return $x=[y_0^T,0{]}^T$
4. else pick an $q$ with $r_q<0$
5. If no $y_{iq}>0$ for $1\le i\le m$, then return “no solution”
   else p = a r g m i n { y i 0 y i q : y i q > 0 } p=argmin\{\frac{y_{i0}}{y_{iq}}:y_{iq}>0\} p=argmin{yiq​yi0​​:yiq​>0}
6. Update $[I,Y,y_0]$, goto 2

应用

max $7x_1+6x_2$
s.t. $2x_1+x_2\le 3$
$x_1+4x_2\le 4$
$x_1,x_2\ge 0$

$\Rightarrow$ min $-7x_1-6x_2$
s.t. $2x_1+x_2+x_3=3$
$x_1+4x_2+x_4=4$
$x_1,x_2,x_3,x_4\ge 0$

$\left[\begin{array}{cc}A& b\\ c^T& 0\end{array}\right]=\left[\begin{array}{ccccc}2& 1& 1& 0& 3\\ 1& 4& 0& 1& 4\\ -7& -6& 0& 0& 0\end{array}\right]$

$B=[a_3,a_4]$

$x=\left[\begin{array}{c}0\\ 0\\ 3\\ 4\end{array}\right]$

$r_B^T=[-7,-6]\Rightarrow q=1$

$z_0=0$

p = a r g m i n { y i 0 y i q : y i q > 0 } p=argmin\{\frac{y_{i0}}{y_{iq}}:y_{iq}>0\} p=argmin{yiq​yi0​​:yiq​>0}
$\frac{3}{2}$ v.s. $\frac{4}{1}\Rightarrow p=1$

$B^{\prime }=[a_1,a_4]$

$\left[\begin{array}{ccccc}1& \frac{1}{2}& \frac{1}{2}& 0& \frac{3}{2}\\ 0& 3\frac{1}{2}& -\frac{1}{2}& 1& \frac{5}{2}\\ 0& -\frac{5}{2}& \frac{7}{2}& 0& \frac{21}{2}\end{array}\right]$

$x=[\frac{3}{2},0,0,\frac{5}{2}{]}^T$

$z_0=-\frac{21}{2}$

$r_D^T=[-\frac{5}{2},\frac{7}{2}]\Rightarrow q=2$

$\frac{y_{i0}}{y_{iq}}:\frac{\frac{3}{2}}{\frac{1}{2}}=3$ v.s. $\frac{\frac{5}{2}}{\frac{7}{2}}=\frac{5}{7}\Rightarrow p=2$

$\left[\begin{array}{ccccc}1& 0& \frac{4}{7}& -\frac{1}{7}& \frac{8}{7}\\ 0& 1& -\frac{1}{7}& \frac{2}{7}& \frac{5}{7}\\ 0& 0& \frac{22}{7}& \frac{5}{7}& \frac{86}{7}\end{array}\right]$

$B=[a_1,a_2],x=[\frac{8}{7},\frac{5}{7},0,0{]}^T,z=-\frac{86}{7},r_D^T=[\frac{22}{7},\frac{5}{7}]\ge 0$

$x$ 达到最优 !

非线性条件优化问题

约束条件只有等式的情形

min $f(x)=0$
s.t. $h(x)=0$

拉格朗日条件

公式

拉格朗日函数：$l(x,\lambda )=f(x)+{\lambda }^{T}h(x)$

$Dl(x^{\ast },{\lambda }^{\ast })=0\Rightarrow \{\begin{array}{l}{D}_{x}l(x^{\ast },{\lambda }^{\ast })=0\\ D_{\lambda }l(x^{\ast },{\lambda }^{\ast })=0\end{array}$

应用

已知长方体的表面积为$A$，求体积的最大值。
max $x_1{x}_2{x}_3$
s.t. $x_1{x}_2+x_2{x}_3+x_1{x}_3=\frac{A}{2}(A>0)$
$f(x)=-x_1{x}_2{x}_3,h(x)=x_1{x}_2+x_2{x}_3+x_1{x}_3-\frac{A}{2}$
$\nabla f(x)=[-x_2{x}_3,-x_1{x}_3,-x_1{x}_2{]}^T$
$\nabla h(x)=[x_2+x_3,x_1+x_3,x_1+x_2{]}^T$
All feasible solutions are regular.
$\lambda \in \mathbb{R}$
$\{\begin{array}{l}\nabla f(x)+\lambda \nabla h(x)=0\\ h(x)=0\end{array}\Rightarrow \{\begin{array}{l}{x}_2{x}_3-\lambda (x_2+x_3)=0\\ x_1{x}_3-\lambda (x_1+x_3)=0\\ x_1{x}_2-\lambda (x_1+x_2)=0\\ x_1{x}_2+x_2{x}_3+x_1{x}_3-\frac{A}{2}=0\end{array}$

当$x_1=x_2=x_3=\sqrt{\frac{A}{6}}$时，取到最值

约束条件包含不等式的情形

min $f(x)$
s.t. $h(x)=0$
$g(x)\le 0$

KKT条件

公式

1. ${\mu }^{\ast }\ge 0$
2. $Df(x^{\ast })+{{\lambda }^{\ast }}^{T}Dh(x^{\ast })+{{\mu }^{\ast }}^{T}Dg(x^{\ast })=0$
3. ${{\mu }^{\ast }}^{T}g(x^{\ast })=0$

应用

min $-\frac{400R}{(10+R{)}^2}$
s.t. $-R\le 0$

$\nabla f(R)=-\frac{400(10-R)}{(10+R{)}^3}$

$\{\begin{array}{l}\mu \ge 0\\ Df(x^{\ast })+{{\lambda }^{\ast }}^{T}Dh(x^{\ast })+{{\mu }^{\ast }}^{T}Dg(x^{\ast })=0\\ {\mu }^{T}g(x)=0\\ g(x)\le 0\\ h(x)=0\end{array}$

$\Rightarrow \{\begin{array}{l}\mu \ge 0\\ -\frac{400(10-R)}{(10+R{)}^3}-\mu =0\\ \mu R=0\\ R\ge 0\end{array}$

If $\mu >0$, then $R=0,\mu =-4$（✕）
If $\mu =0\Rightarrow R=10$（✓ ）

考试押题

一共五道大题，我也押五道题。

FONC,SONC,SOSC的应用。
梯度下降法。
共轭方向法。
单纯形法。
KKT条件。

总结

我把这个学期讲的重点全部整理在这里了。其实这门课程的内容非常多，其中包括了很多难度比较大的内容，以及为了知识体系的完整性补充的内容，那些内容这里全都没有放上来。这里只挑选了一些难度不大，讲解较为详细，应用较广的内容。也祝所有选这门课的同学考高分！