等式约束与不等式约束问题

针对特殊约束条件下的优化问题，有着不同类别适应不同条件的求解算法。包括梯度法、求解线性等式约束问题的投影梯度法、适用于含有等式约束规划和含有不等式规划的拉格朗日乘子法、针对不等式约束的KKT条件法、罚函数法等。

等式约束问题

设目标函数为f(x)，约束条件为$h_k(x)$，形如

minf(x)s.t.hk(x)=0k=1,2,⋯k

$$min \quad f(x) \\ s.t. \quad h_k(x)=0 \quad k=1,2,\cdots k$$
则解决方法是消元法或者拉格朗日法。消元法不再多说，拉格朗日法这里在提一下，因为后面提到的KKT条件是对拉格朗日乘子法的一种泛化。

$$L(x,\lambda)=f(x)+\sum_{k=1}^{l}\lambda_kh_k(x)$$
其中 $λ_k$是各个约束条件的待定系数。
然后解偏导方程组：

∂F∂xi=0∂F