# §5 约束极值

## C1 最优性条件

1）非起作用约束：当前可行解不在约束边界的约束

g ( X 0 ) > t g(X_0)\gt t 满足 g ( X 0 ) ≥ t g(X_0)\ge t 但不在边界上

2）可行方向 ∃ λ : X 0 + λ D ∈ R    ⟺    \exist\lambda:X_0+\lambda D\in R\iff 对于所有起作用约束 ∇ g ( X 0 ) T D ≥ 0 \nabla g(X_0)^TD\ge 0

3）下降方向：若 ∃ δ ∀ λ ∈ [ 0 , δ ] f ( X 0 + λ D ) < f ( X 0 )    ⟺    ∇ f ( X 0 ) T D < 0 \exist \delta \forall \lambda\in[0,\delta]f(X_0+\lambda D)\lt f(X_0)\iff \nabla f(X_0)^TD\lt0

4）可行方向法：解 min ⁡ η { ∇ f ( X k ) T D < η ∇ g i ( X k ) T D > η − 1 ⪯ D ⪯ 1 \min \eta\begin{cases}\nabla f(X_k)^TD\lt \eta\\\nabla g_i(X_k)^TD\gt \eta\\ -1\preceq D\preceq 1\end{cases}

• η < 0 \eta\lt 0 ，则对应最优可行下降方向
• ∣ η ∣ < ϵ |\eta|\lt \epsilon ，可停止计算

5）K-T条件：约束极值点满足 { ∇ f ( X ∗ ) − ∑ i = 1 m γ i ∇ g i ( X ∗ ) = 0 γ i g i ( X ∗ ) = 0 γ i ∗ ≥ 0 \begin{cases}\nabla f(X^*)-\sum\limits_{i=1}^m\gamma_i\nabla g_i(X^*)=0\\\gamma_i g_i(X^*)=0\\\gamma_i^*\ge0\end{cases}

• 对于凸规划，是充要条件；对于线性规划，是必要条件
• γ i \gamma_i 称为广义拉格朗日乘子

## C2 二次规划

1）二次规划：目标函数为二次形式，且约束条件线性
min ⁡ f ( X ) = ∑ j = 1 n c j x j + 1 2 ∑ j = 1 n ∑ k = 1 n c j k x j x k , c j k = c k j { ∑ j = 1 n a i j x j + b i ≥ 0 x j ≥ 0 \min f(X) =\sum\limits_{j=1}^n c_jx_j + \frac{1}{2}\sum\limits_{j=1}^n\sum\limits_{k=1}^n c_{jk}x_jx_k,c_{jk} = c_{kj}\\ \begin{cases} \sum\limits_{j=1}^n a_{ij} x_j +b_i\ge 0\\ x_j\ge 0 \end{cases}
2）K-T解法：问题等价于线性规划问题
min ⁡ ϕ ( Z ) = ∑ j = 1 n z j { ∑ i = 1 m a i j γ n + i + γ i − ∑ k = 1 n c j k x k + s g n ( c j ) z j = c j ∑ j = 1 n a i j x j − x n + i + b i = 0 x j ≥ 0 , y j ≥ 0 , z j ≥ 0 \min \phi(Z) = \sum\limits_{j=1}^n z_j\\ \begin{cases} \sum\limits_{i=1}^m a_{ij} \gamma_{n+i} +\gamma_i -\sum\limits_{k=1}^n c_{jk}x_k+sgn(c_j)z_j=c_j\\ \sum\limits_{j=1}^n a_{ij}x_j - x_{n+i}+b_i=0\\ x_j\ge 0, y_j \ge 0,z_j \ge 0 \end{cases}

• 初始可行解

{ z j = s g n ( c j ) c j x n + i = b i x j = y j = 0 \begin{cases} z_j = sgn(c_j)c_j\\ x_{n+i}=b_i\\ x_j=y_j=0 \end{cases}

## C3 制约函数法

1）外点法

• ϕ ( g i ( X ) ) = { 0 , t ≥ 0 t 2 , t < 0 \phi(g_i(X))=\begin{cases} 0,t\ge 0\\t^2,t\lt 0\end{cases} 惩罚函数 P ( X , M ) = f ( X ) + M ∑ i = 1 l ϕ ( g i ( x ) ) P(X,M)=f(X)+M\sum\limits_{i=1}^l \phi(g_i(x))
• 求解无约束极值问题 min ⁡ P ( X , M k ) \min P(X,M_k)
• 若某个 g i ( X ) < − ϵ g_i(X)\lt -\epsilon ，则增大M，求解 min ⁡ P ( X , M k + 1 ) \min P(X,M_{k+1}) 。多次迭代直至得到可行解

2）内点法

• g ( X , r ) = r k ∑ j = 1 l 1 g j ( X ) g(X,r)=r_k\sum\limits_{j=1}^l\frac{1}{g_j(X)} g ( X , r ) = − r k ∑ j = 1 l log ⁡ ( g j ( X ) ) g(X,r)=-r_k\sum\limits_{j=1}^l \log(g_j(X)) 障碍函数 P ˉ ( X , r ) = f ( X ) + g ( X , r ) \bar P(X,r)=f(X)+g(X,r)

• 取一可行解 X 0 X_0 为初始点，求解无约束极值问题 min ⁡ P ˉ ( X , r k ) \min \bar P(X,r_k)

• g ( X , r k ) ≤ ϵ g(X,r_k)\le \epsilon ，则终止。否则减小r，计算 min ⁡ P ˉ ( X , r k + 1 ) \min \bar P(X,r_{k+1})

09-15

09-07 8193
08-20 3307
06-10 170
04-27 347
02-11 629