拉格朗日
文章目录
文章目录
等式约束
等式约束条件下的拉格朗日乘子法的一般形式可以表现为:
m i n f ( x ) , s . t . h k ( x ) = 0 , k = 1 , 2 , . . . , l min f(x),\ \ \ \ s.t.\ \ h_k(x) = 0 ,k = 1,2,...,l minf(x), s.t. hk(x)=0,k=1,2,...,l
解决方法为乘子法:
首先定义拉格朗日函数 F ( x , λ ) F(x,\lambda) F(x,λ)
F ( x , λ ) = f ( x ) + ∑ k = 1 l λ k h k ( x ) F(x,\lambda) = f(x) + \sum_{k=1}^{l}\lambda_kh_k(x) F(x,λ)=f(x)+k=1∑lλkhk(x)
接下来求解下述方程组
∂ F ∂ x = 0 , ∂ F ∂ λ k = 0 , k = 1 , 2 , . . . , l \frac{\partial F}{\partial x} = 0,\frac{\partial F}{\partial \lambda_k} = 0,k = 1,2,...,l ∂x∂F=0,∂λk∂F=0,k=1,2,...,l
共有 l + 1 l+1 l+1 个方程,将 x , λ k , k = 1 , 2 , . . . , l x,\lambda_k,k=1,2,...,l x,λk,k=1,2,...,l求解出来,即得到最优解。
不等式约束 & KKT条件
等式约束条件下的优化问题的一般形式可以表现为:
m i n f ( x ) min f(x) minf(x)
s . t . h j ( x ) = 0 , j = 1 , 2 , . . . , p s.t.\ \ h_j(x) = 0,j = 1,2,...,p s.t. hj(x)=0,j=1,2,...,p
g k ( x ) ≤ 0 , k = 1 , 2 , . . . , q g_k(x)\leq 0 ,k = 1,2,...,q gk(x)≤0,k=1,2,...,q
则此时的拉格朗日函数为 L ( x , λ , μ ) L(x,\lambda,\mu) L(x,λ,μ)
L ( x , λ , μ ) = f ( x ) + ∑ j = 1 p λ j h j ( x ) + ∑ k = 1 q μ k g k ( x ) L(x,\lambda,\mu) = f(x) + \sum_{j=1}^{p}\lambda_jh_j(x) + \sum_{k=1}^{q}\mu_kg_k(x) L(x,λ,μ)=f(x)+j=1∑pλjhj(x)+k=1∑qμkgk(x)
下面给出 K K T KKT KK