Lagrange multipliers - 拉格朗日乘子法

Lagrange multipliers - 拉格朗日乘子法

拉格朗日乘子法是一种寻找多元函数在一组约束下的极值方法。>通过引入拉格朗日乘子，可将有$D$个变量与$K$个约束条件的最优化问题转化为具有$D+K$个变量的无约束优化问题求解。本文主要讲解其中的数学原理，并引入KKT条件。

先考虑一个简单的等式约束的优化问题。假定$x$为2维向量，欲寻找$x$的某个取值$x^*$，即使目标函数 $f(x_1,x_2)$ 最小且同时满足$g(x_1,x_2)=0$的约束。针对此问题，通常的做法包含3步：首先，根据约束条件$g(x_1,x_2)=0$得到$x_2$关于$x_1$的表达式，即$x_2=h(x_1)$；其次，将$x_2=h(x_1)$带入目标函数中即$f(x_1,h(x_1))$，这样得到关于$x_1$单变量的优化问题；最后，将目标函数对$x_1$求导数，即可得到其最优值 x∗1