数值优化（Numerical Optimization）学习系列-非线性约束最优化（Nonlinear Constrained Optimization）

概述

在实际问题中不是所有的目标函数或者约束都是线性的，本节主要介绍对于非线性约束或者目标函数如何有效的求解。
1. 非线性约束问题概述
2. 求解非线性约束常用的思路
3. 总结

非线性约束最优化问题

基本形式表示为

$$min\ f(x)\ \\ s.t\ \ c_i(x)=0, i \in \mathcal E \\ c_i(x)\ge 0, i \in \mathcal I$$ 该类问题的最优解一阶和二阶条件都已介绍过。
后续会介绍几类常见的非线性约束最优化问题
1. QP（Quadratic Programming）问题，即二次规划问题，目标函数是二次的，并且约束为线性约束，该问题的算法也比较成熟，例如有效集算法、内点法和梯度映射算法。该问题常常成为处理其他问题的子步骤。
2. 带惩罚的增强拉格朗日算法，主要思路将目标函数和约束整合到一起，通过求解一系列无约束问题从而逼近原始问题的解。例如对于等式约束问题，可以定义 $F(x)=f(x)+\frac u2 \sum_{i \in \mathcal E}c_i(x)^2$。或者 $F(x)=f(x)+u \sum_{i \in \mathcal E}|c_i(x)|$。对于增强拉格朗日方法，综合考虑原始目标和约束，例如

<