数值优化（Numerical Optimization）学习系列-带约束最优化（Constrained Optimization）

概述

带约束的最优化问题是区别于无约束最优化问题的，另外一大类最优化问题。在实际中也经常遇到，本节主要介绍了带约束最优化问题的相关理论以及最优解满足的必要条件。
1. 带约束最优化问题概述
2. 带约束最优化问题解的必要条件示例
3. 最优解满足的一阶和二阶必要条件
4. 对偶
5. 总结

带约束最优化问题

数学形式为

$$min \ f(x) \\ st. \ c_i(x)=0,\; i \in \mathcal E \\ c_i(x) \ge 0, \; i \in \mathcal I$$ 其中 $\mathcal I 和 \mathcal E$都是指示集合分别表示不等式约束和等式约束。

0.不同书籍上对于不等式约束可能会表示为小于等于号，其实原理都一致。
1.可行解集合定义为$\Omega=(x| c_i(x)=0,i \in \mathcal E ;c_i(x) \ge 0, i \in \mathcal I)$
2.几个概念，局部解、严格局部解和独立局部解。
3.平滑的约束不代表解的可行域是平滑的；另外很多不平滑的无约束问题可以转换为哎约束的问题。
4. 激活集合A(x)的定义$\mathcal A(x)=\mathcal E \cup (i \in \mathcal I | c_i(x)=0)$，激活集合是指满足等式约束和不等式约束中等号的解。

带约束问题解性质示例

等式约束

例子：

$$min \; x_1+x_2 \; \; st. \; x_1^2+x_2^2-2=0$$ 可行解集合如下图所示，即在圆边上的点。

从图中可以看出，最优解的$\nabla c_1(x^*)$和$\nabla f(x^*)$是平行的，即$\nabla f(x^*)=\lambda^* \nabla c_1(x^*）$。

下面简单证明该条件是必要的，主要思路采用反证法。

1. 分别对约束和目标函数在某可行点x出进行一阶近似泰勒展开，结果如下
2. 约束展开形式，$c_1(x+s)=c_1(x)+\nabla c_1(x)^T s=0$，由于需要满足等式约束，所以下一步搜索步长需要满足：$\nabla c_1(x)^T s=0$
3. 目标函数展开形式，$f(x+s)=f(x)+\nabla f(x)^Ts$，由于下一搜索方向需要满足函数值递减，所以下一步搜索步长需要满足:$\nabla f(x)^Ts < 0$
4. 现在假设搜索方向归一化后表示为$d=s/||s||$，则d应该满足$\nabla c_1(x)^T d=0和\nabla f(x)^T d < 0$
5. 采用反正法，如果$\nabla c_1(x)和\nabla f(x)$不平行，则总是可以找到某个搜索步长 d=(∇c1(x)∇c1(x)T||c1(x)||2−I)∇f(x)