最优化期末复习

典型题型

判断是否为局部最优解（非线性规划）

1.写出$L(x,w,v)$和$\nabla f(x),\nabla g(x),\nabla h(x)$，求出${\nabla }_{x}L$和${\nabla }_x^{2}L$
（1）判断是否是可行点
（2）找出$I$
（3）根据$I$写出KKT方程。
（4）求解KKT方程，如果$w_i<0$，则不是KKT点->不是局部最优解
（5）如果$w\ge 0$，则是KKT点。写出${\nabla }_x^{2}L$
               \;\;\;\;\;\;\; ①${\nabla }_x^{2}L$正定->在$G$上正定->局部最优解
               \;\;\;\;\;\;\; ②${\nabla }_x^{2}L$不是正定，求$\bar{G}$，如果$\bar{G}=\{(0,0)\}$，则$G=\varnothing$->局部最优解；如果$\bar{G}$还有其他向量且${\nabla }_x^{2}L$在$\bar{G}$上不是半正定的->不是局部最优解

凸集与凸函数

凸集定义和性质～表示定理：《绪论》p60

凸集的定义和性质

定义

超平面 H = { x ∣ p T x = a } H=\{\textbf{x}|\textbf{p}^T\textbf{x}=\textbf{a}\} H={ x∣pTx=a}
半空间 H = { x ∣ p T x ≤ a } H=\{\textbf{x}|\textbf{p}^T\textbf{x}\le\textbf{a}\} H={ x∣pTx≤a}
射线 L = { x ∣ x = x ( 0 ) + λ d , λ ≥ 0 } L=\{\textbf{x}|\textbf{x}=\textbf{x}^{(0)}+\lambda\textbf{d},\lambda\geq0\} L={ x∣x=x(0)+λd,λ≥0}
多面体/集 { x ∣ Ax ≤ b } \{\textbf{x}|\textbf{Ax}\leq\textbf{b}\} { x∣Ax≤b}
{ ∑ i = 1 k λ i α 0 , λ i ≥ 0 } \{\sum_{i=1}^k \lambda_i \alpha^{0}, \lambda_i\geq 0\} { ∑i=1k​λi​α0,λi​≥0} 凸集+锥
都是凸集。

性质

$S_1\cup S_2$不一定是凸集

证明是凸集： 1.定义法。 2.性质法，用已知的凸集构造

极点和极方向的定义

极点

对于紧凸集，任何一点都能被极点的凸组合表示，但是对于无界集不适用->引入极方向。

方向、不同方向、极方向

有界集不存在（极）方向，只有无界集才可能存在。

方向的证明：
1.定义
2.

极方向的证明：
$\text{d}={\alpha }_1{\text{d}}_1+{\alpha }_2{\text{d}}_2$，其中${\alpha }_1,{\alpha }_2>0$，要说明${\text{d}}_1$和${\text{d}}_2$是方向。
如果能推出${\text{d}}_1=\lambda {\text{d}}_2,\lambda >0$，则$\text{d}$是极方向。
证明例子可见《绪论》p65

表示定理

凸集分离定理

定理1：$S$是$E^n$的闭凸集，$y\notin S$，则存在唯一的$\bar{x}\in S$，使得$||y-\bar{x}||=in{f}_{x\in S}$