优化——拉格朗日乘子法与拉格朗日对偶

拉格朗日乘子法要解决的式带有约束的最优化问题，约束条件分为等式约束和不等式约束。

等式约束可以直接应用拉格朗日乘子法去求取最优值；含不等式约束的优化问题可以转化为在满足KKT条件下应用拉格朗日乘子法求解。

拉格朗日法求得的不一定是最优解，只有在凸优化的情况下，才能保证得到的是最优解

无约束优化

对于约束变量$x\in {\mathbb{R}}^N$的函数$f(x)$,无约束优化问题如下：
$$\underset{x}{\min }f(x)$$
这个问题可以直接使目标函数导数为0即可，即${\nabla }_{x}f(x)=0$，或者用梯度下降法使$x$沿着负梯度方向逐步逼近极小值点

等式约束优化

当目标函数加上约束条件后，问题变为以下形式：
$$\begin{array}{rl}& \underset{x}{\min }f(x)\\ & s.t.h_i(x)=0,i=1,2,...,m\end{array}$$
约束条件会将解的范围限定在一个可行域，此时不一定能得到${\nabla }_{x}f(x)=0$的点，只需要找到在可行域使$f(x)$最小的值即可。引入拉格朗日乘子法：
$$L(x,\alpha )=f(x)+\sum _{i=1}^m{\alpha }_i{h}_i(x)$$
分别对$x,\alpha$求偏导使其为0：