最优化方法（3）带约束问题的最优性条件及求解方法

1. 等式约束问题的最优性条件

这类问题描述为，求目标函数f(x)的极小值，其中决策变量x受等式约束h(x)=0. 其中等式约束条件可以为多l个，h1(x),h2(x),...,hl(x)

       【一阶必要条件：拉格朗日定理】 由拉格朗日定理描述为：在极小值点x*，则必能满足：拉格朗日函数的一阶梯度为0。其中拉格朗日函数=目标函数f(x)-拉格朗日乘子

lambda*等式约束h(x)。

【二阶充分条件】判定定理：若存在某点（x*,\lambda*）,满足拉格朗日函数的梯度为0，且拉格朗日函数的二阶梯度对约束条件的任意方向导数正定，则x*是一个严格局部极小点！

2.不等式约束问题的最优性条件

这类问题描述为，求目标函数f(x)的极小值，其中决策变量x受不等式约束h(x)>=0. 其中不等式约束条件可以为m个，h1(x),h2(x),...,hm(x)

【一阶必要条件：KT条件/KKT条件】：

3. 一般问题的最优性条件

一般约束优化问题，既包括等式约束条件，又包括不等式约束条件。由KT一阶必要条件描述。