优化问题----等式约束与不等式约束问题求解

目录

先总结一波：

1. 等式约束问题求解

（1）一阶必要条件

（2）二阶充分条件

2.不等式约束问题求解

2.1 可行下降方向

2.2 KTT条件（Kuhn-Tucker条件）

（1）Gordan定理

（2）Fritz John定理

（3）KTT条件

 （4）KTT的一个应用实例

---

---

先总结一波：

1. 对于无约束极值问题，可以采用解析方法和直接方法两种方法，而直接方法其求解的典型思想就是下降法，具体包括最速下降法，Newton法，共轭方向法和共轭梯度法，拟Newton法，Powell方向加速法等。
2. 对于约束极值问题：

（1）精确解求解方法：①等式约束问题：可以采用拉格朗日乘子法进行求解；②不等式约束问题：一方面，可以采用广义拉格朗日乘子法进行求解（也就是KTT条件）；另一方面可以采用制约函数方法进行求解（其中制约函数方法包含有内点法和外点法两种）；

（2）智能优化算法：对于约束问题，也可以采用智能优化算法：模拟退火，遗传算法，类免疫算法，演化策略，神经网络，支持向量机等。其实对于无约束优化问题也是可以采取智能优化算法的，只不过一般还是用在约束极值问题的求解过程中。