【最优化理论】4.2带约束最优化

1.等式约束

  经典拉格朗日乘子法是下面的优化问题（注：$\mathbf{x}$是一个向量）
$$\underset{x}{\min }f(x)$$
$$\text{s.t.}g(x)=0$$直观上理解。最优解${\mathbf{x}}_{optimal}$一定有这样的性质，以$\mathbf{x}$是二维变量为例：（下图的约束曲线是$g(x,y)=c$,当然也可以写成$g(x,y)-c=0$）

当等高线和曲线$g(x,y)=c$相切，取得极值。两条曲线得切线方向是共线的，即法线方向也是共线的。得到下列式子：
$$\{\begin{array}{l}\nabla f(\mathbf{x})=\lambda \nabla g(\mathbf{x})\\ g(\mathbf{x})=0\end{array}$$
即得到拉格朗日函数：
$$L(\mathbf{x},\lambda )=f(\mathbf{x})+\lambda g(\mathbf{x})$$

2.不等式约束

求下列非线性规划问题的K-T点；
$$\begin{array}{rl}& \min f(\mathbf{x})=2x_1^2+2x_1{x}_2+x_2-10x_1-10x_2\\ & \text{ s. t}\{\begin{array}{l}x+x^2\le 5\\ 3x+x_2\le 6\end{array}\end{array}$$

解：将上述问题的约束条件改写为$g_i\left(\mathbf{x}\right)\ge 0$ 的形式：
s . t { g 1 ( x ) = − x 1 2 − x 2 2 + 5 ≥ 0 g 2 ( x )