[最优化]不等式约束的优化问题求解

不等式约束的优化问题求解

与前文讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以用拉格朗日乘子法进行求解
对于一般形式的优化问题：

minimizef(x)subject toh(x)=0g(x)≤0minimizef(x)subject toh(x)=0g(x)≤0

其中， f:Rn→R,h:Rn→Rm,m≤n,g:Rn→Rpf:Rn→R,h:Rn→Rm,m≤n,g:Rn→Rp
引入下面两个定义：

定义1：对于一个不等式约束gj(x)≤0gj(x)≤0，如果在x∗x∗处gj(x∗)=0gj(x∗)=0，那么称该不等式约束是x∗x∗处的起作用约束；如果在x∗x∗处gj(x∗)<0gj(x∗)<0，那么称该约束是x∗x∗处的不起作用约束。按照惯例，总是把等式约束hi(x)hi(x)当作起作用的约束

定义2：设x∗x∗满足h(x∗)=0,g(x∗)≤0h(x∗)=0,g(x∗)≤0，设J(x∗)J(x∗)为起作用不等式约束的下标集：

J(x∗)≜{j:gj(x∗)=0}J(x∗)≜{j:gj(x∗)=0}

如果向量

∇hi(x∗),∇gj(x∗),1≤i≤m,j∈J(x∗)∇hi(x∗),∇gj(x∗),1≤i≤m,j∈J(x∗)

是线性无关的，那么称 x∗x∗是一个正则点

下面介绍某个点是局部极小点所满足的一阶必要条件，即KKT条件。
KKT条件：设f,h,g∈C1f,h,g∈C1，设x∗x∗是问题h(x)=0,g(x)≤0h(x)=0,g(x)≤0的一个正则点和局部极小点，那么必然存在λ∗∈Rmλ∗∈Rm和μ∗∈Rpμ∗∈Rp，使得以下条件成立：

μ∗≥0Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0Tμ∗Tg(x∗)=0h(x∗)=0g(x∗)≤0μ∗≥0Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0Tμ∗Tg(x∗)=0h(x∗)=0g(x∗)≤0

那么在求解不等式约束的最优化问题的时候，可以搜索满足KKT条件的点，并将这些点作为极小点的候选对象。

二阶充分必要条件

除了一阶的KKT条件之外，求解这类问题还有二阶的充分必要条件。

二阶必要条件：在上述的问题中若x∗x∗是极小点且f,h,g∈C2f,h,g∈C2。假设x∗x∗是正则点，那么存在λ∗∈Rmλ∗∈Rm和μ∗∈Rpμ∗∈Rp使得

1. μ∗≥0,Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0T,μ∗Tg(x∗)=0μ∗≥0,Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0T,μ∗Tg(x∗)=0
2. 对于所有y∈T(x∗)y∈T(x∗)，都有yTL(x∗,λ∗,μ∗)y≥0yTL(x∗,λ∗,μ∗)y≥0成立

二阶充分条件：假定f,h,g∈C2f,h,g∈C2，x∗∈Rnx∗∈Rn是一个可行点，存在向量λ∗∈Rmλ∗∈Rm和μ∗∈Rpμ∗∈Rp使得

1. μ∗≥0,Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0T,μ∗Tg(x∗)=0μ∗≥0,Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0T,μ∗Tg(x∗)=0
2. 对于所有y∈T˜(x∗,μ∗),y≠0y∈T~(x∗,μ∗),y≠0，都有yTL(x∗,λ∗,μ∗)y>0yTL(x∗,λ∗,μ∗)y>0成立

那么x∗x∗是优化问题h(x)=0,g(x)≤0h(x)=0,g(x)≤0的严格局部极小点

转载于:https://www.cnblogs.com/frankkk/p/9179179.html