最优化理论分析复习--最优性条件（一）

上一篇

最优化理论复习–对偶单纯形方法及灵敏度分析

无约束问题的极值条件

由于是拓展到向量空间 $R^n$, 所以可由高数中的极值条件进行类比

1. 一阶必要条件
   设函数 $f(x)$ 在点 $\bar{x}$ 处可微， 若 $\bar{x}$ 是局部极小点，则 $▽f(\bar{x})=0$
   类比于若 $\bar{x}$ 是极小值点则 $f^{\prime }(\bar{x})=0$

2. 二阶必要条件
   设 $f(x)$ 在 $\bar{x}$ 处二阶可微，若 $\bar{x}$ 是局部极小点， 则 $▽f(\bar{x})=0$, 且 $Hessian$ 矩阵 ${▽}^{2}f(\bar{x})$ 是半正定的。
   类比于 若 $\bar{x}$是极小值点则 $f^{\prime }(\bar{x})=0,且f^{\prime \prime }(\bar{x})\ge 0$

3. 二阶充分条件
   设函数 $f(x)$ 在点 $\bar{x}$ 处二次可微，若梯度 $▽f(\bar{x})=0$, 且 $Hessian$ 矩阵 ${▽}^{2}f(\bar{x})正定$， 则 $\bar{x}$是严格局部极小点。
   类比于$f^{\prime }(\bar{x})=0,f^{\prime \prime }(\bar{x})>0$则 $\bar{x}$ 是极小值点

4. 充要条件
   设 $f(x)$ 是定义在 $R^n$ 上的可微凸函数， $\bar{x}\in R^n$, 则 $\bar{x}$ 为整体极小点的充要条件是 $▽f(\bar{x})=0$
   注：如果 $f(x)$ 是严格凸的，则全局极小点是唯一的。

约束极值问题的最优性条件

基本概念

定义： 对 $minf(x)$, 设 $\bar{x}\in R^n$ 是任给一点， $d\ne 0$, 若存在 $\delta >0$, 使得对任意的 $\lambda \in (0,\delta )$, 有 $f(\bar{x}+\lambda d)<f(\bar{x})$, 则称 $d$ 为 $f(x)$ 在点 $\bar{x}$ 处的下降方向。

1. 引理： 设函数 $f(x)$ 在点 $\bar{x}$ 可微， 若存在 $d\ne 0$, 使得 $▽f(\bar{x}{)}^{T}d<0$, 则存在 $\delta >0$, 是使得对 $\forall \lambda \in (0,\delta )$, 有 $f(\bar{x}+\lambda d)<f(\bar{x})$。
   即与梯度方向成钝角的方向是下降方向
   表示为
   F 0 = { d ∣ ▽ f ( x ˉ ) T d < 0 } F_0 = \{ d | \bigtriangledown f(\bar{x})^T d < 0\} F0​={d∣▽f(xˉ)Td<0}

2. 定义： 设集合 $S\subset R^n,\bar{x}\in clS.$, $d$ 为非零向量， 若存在数 $\delta >0$, 使得对任意 $\lambda \in (0,\delta ),$ 都有 $\bar{x}+\lambda d\in S$ 则称 $d$ 为集合 $S$ 在 $\bar{x}$ 的可行方向。
   就是移动方向在可行域内
   表示为 D = { d ∣ d ≠ 0 , x ˉ ∈ c l S , ∃ δ > 0 , ∀ λ ∈ ( 0 , δ ) , 有 x ˉ + λ d ∈ S } D = \{ d | d \not = 0, \bar{x} \in clS, \exists \delta > 0, \forall \lambda \in (0, \delta), 有 \bar{x} + \lambda d \in S \} D={d∣d=0,xˉ∈clS,∃δ>0,∀λ∈(0,δ),有xˉ+λd∈S}
   $\bar{x}处的可行方向锥$

3. 定义: 若问题的可行点 $\bar{x}$ 是某个不等式约束 $g_i(x)\ge 0$ 变成等式， 则该不等式约束称为关于可行点 $\bar{x}$ 的起作用约束； 否则称为不起作用约束。
   表示为
   I = { i ∣ g i ( x ˉ = 0 , x ˉ ∈ S ) } I = \{ i| g_i(\bar{x} = 0, \bar{x} \in S) \} I={i∣gi​(xˉ=0,xˉ∈S)}

4. 定义：在起作用约束作对应切线，获得对应梯度，与这两个梯度同时呈锐角的方向为积极约束的可行方向。
   表示为 G 0 = { d ∣ ▽ g i ( x ˉ ) T d > 0 , i ∈ I ( x ) } G_0 = \{d | \bigtriangledown g_i(\bar{x})^T d > 0, i \in I(x) \} G0​={d∣▽gi​(xˉ)Td>0,i∈I(x)}
   即由约束条件求出的可行方向
   有$G_0\subset D$
   问题标准形式：
   $minf(x)$

$s.t.\{\begin{array}{c}{g}_i(x)\ge 0，不等式约束\\ \\ h_j(x)=0，等式约束\\ \\ x\in R^n\end{array}$

几何最优性条件：设 $S$ 是 $R^n$ 的非空集合， $\bar{x}\in S,f(x)$在 $\bar{x}$ 处可微， 若 $\bar{x}$ 是局部最优解， 则 $F_0\cap D=\varnothing$
即所有的可行方向都是上升方向

只有不等式约束时

由于$G_0\subset D$ 所以也有 $F_0\cap G_0=\varnothing$，可行域之内不能有空洞

• (F-J条件) 设 x ˉ ∈ S , I = { i ∣ g i ( x ˉ ) = 0 } , f ( x ) , g i ( x ) ( i ∈ I ) \bar{x} \in S, I = \{ i | g_i(\bar{x}) = 0\}, f(x), g_i(x) (i \in I) xˉ∈S,I={i∣gi​(xˉ)=0},f(x),gi​(x)(i∈I) 在 $\bar{x}$ 处可微， $g_i(x)(i\notin I)$ 在 $\bar{x}$ 处连续， 若 $\bar{x}$ 是问题的最优解，则存在不全为零的数 $w_0,w_i(i\in I)$ 使得
  $$w_0▽f(\bar{x})-\sum _{i\in I}{w}_i▽g_i(\bar{x})=0$$
  称 $\bar{x}$ 为 $F-J$ 点
  为必要条件，极小值点一定是 F-J点， 但 F-J点不一定为极小值点

当 $w_0=0$ 是另外另个约束条件的梯度必须能相互抵消，这种情况才有最优解，因此更多的是关注 $w_0\ne 0$的情况

• (KKT条件) 设 $\bar{x}\in S$ , $f,g_i(i\in I)在\bar{x}处可微,g_i(i\notin I)在\bar{x}连续$（保证无空洞）， { ▽ g i ( x ˉ ) ∣ i ∈ I } 线性无关 \{ \bigtriangledown g_i(\bar{x}) | i \in I\} 线性无关 {▽gi​(xˉ)∣i∈I}线性无关， 若 $\bar{x}$ 是局部最优解， 则存在非负数 $w_i,i\in I,$ 使得
  $$▽f(\bar{x})-\sum _{i\in I}{w}_i▽g_i(\bar{x})=0$$

凸规划的判别方法：

1. 可行域是凸集, 目标函数是凸函数
2. 可行域是 $\ge$的凹函数， 目标函数是凸函数

求KKT点

• KKT条件的另一种表述
  设 $\bar{x}\in S$ , $f,g_i(i\in I)在\bar{x}$ 处可微, { ▽ g i ( x ˉ ) ∣ i ∈ I } 线性无关 \{ \bigtriangledown g_i(\bar{x}) | i \in I\}线性无关 {▽gi​(xˉ)∣i∈I}线性无关， 若 $\bar{x}$ 是局部最优解， 则存在非负数 $w_i,i=1,\mathrm{2...}m$ 使得
  $$\{\begin{array}{c}▽f(\bar{x})-\sum _{i=1}^m{w}_i▽g_i(\bar{x})=0(没要求对应的g_i(x)为约束条件)\\ \\ w_i{g}_i(\bar{x})=0,i=1,\mathrm{2...}m（互补松弛条件）\\ \\ w_i\ge 0i=1,\mathrm{2...}m\end{array}$$

通过这个表述方式，加上原来的约束然后将所有的方程列出来求解

下一篇

最优化理论复习–最优性条件（二）