简单来说,引入拉格朗日乘子是为了强制要求所有的约束条件必须被满足,当 x x x违反约束条件时, L ( x , α , β ) → + ∞ L(x,\alpha,\beta) \rightarrow +\infty L(x,α,β)→+∞, 当 x x x满足约束条件时, L ( x , α , β ) = f ( x ) L(x,\alpha,\beta) = f(x) L(x,α,β)=f(x)。
假设 f ( x ) , c i ( x ) , h j ( x ) f(x),c_i(x),h_j(x) f(x),ci(x),hj(x)是定义在 R n R^n Rn上的连续可微函数。考虑约束最优化问题(极大化问题可以简单地转换为极小化问题,这里仅讨论极小化问题):
min x ∈ R n f ( x ) s . t . m i ( x ) ≤ 0 , i = 1 , 2 , ⋯ , k n j ( x ) = 0 , j = 1 , 2 , ⋯ , l \begin{aligned} \min_{x \in R^n} \hspace{1em} & f(x)\\ s.t. \hspace{1em} & m_i(x) \le 0, \hspace{1em} i=1,2,\cdots,k\\ & n_j(x) = 0, \hspace{1em} j=1,2,\cdots,l \end{aligned} x∈Rnmins.t.f(x)mi(x)≤0,i=1,2,⋯,knj(x)=0,j=1,2,⋯,l
引入拉格朗日乘子后,得到拉格朗日函数