如何写出最大化优化问题的KKT最优条件

1.引言

书本上通常是给出最小化优化问题，KKT条件的表达形式。例如，在《凸优化》书籍¹中，考虑的是最小化问题的标准形式，建模形式如下所示：
$$\begin{array}{rl}min& f_0(x)\\ s.t.& f_i(x)\le 0:{\lambda }_i,i=1,\cdots ,m\\ & h_i(x)=0:{\mu }_i,i=1,\cdots ,p\\ & x\in R^n\end{array}\text{\hspace{1em}(1)}$$
该优化问题的拉格朗日函数为：
$$L(x,\lambda ,\mu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\mu }_i{h}_i(x)\text{\hspace{1em}(2)}$$
由此，凸问题的KKT条件如下所示：
$$\begin{array}{rl}{f}_i(\tilde{x})\le 0& ,i=1,\cdots ,m\\ h_i(\tilde{x})=0& ,i=1,\cdots ,p\\ \widetilde{{\lambda }_i}\ge 0& ,i=1,\cdots ,m\\ \widetilde{{\lambda }_i}{f}_i(\tilde{x})=0& ,i=1,\cdots ,m\\ \nabla f_0(\tilde{x})+\sum _{i=1}^m\tilde{\lambda }\nabla f_i(\tilde{x})+\sum _{i=1}^p{\tilde{\mu }}_i\nabla h_i(\tilde{x})=0& ,\end{array}\text{\hspace{1em}(3)}$$
前三项满足原对偶约束条件，第四项满足互补松弛约束，第五项拉格朗日函数在$\tilde{x}$处导数为零。该书籍提出，当原问题是凸问题时，满足KKT条件的点就是原问题和对偶问题的最优解。变量上标上波浪号，意思就是问题的最优解。

2.模型与方法

基于引言中所提出的模型与方法，接下来分析最大化问题的KKT条件该如何撰写。首先针对一个最大化优化问题，建立模型如下所示：
$$\begin{array}{rl}max& g_0(x)\\ s.t.& f_i(x)\le 0:{\lambda }_i,i=1,\cdots ,m\\ & h_i(x)=0:{\mu }_i,i=1,\cdots ,p\\ & x\in R^n\end{array}\text{\hspace{1em}(4)}$$
求$g_0(x)$最大的问题，即求$-g_0(x)$最小的问题，因此上述问题进行下列等效变换：
$$\begin{array}{rl}min& -g_0(x)\\ s.t.& f_i(x)\le 0:{\lambda }_i,i=1,\cdots ,m\\ & h_i(x)=0:{\mu }_i,i=1,\cdots ,p\\ & x\in R^n\end{array}\text{\hspace{1em}(5)}$$
此时，拉格朗日函数表示为：
$$L(x,\lambda ,\mu )=-g_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\mu }_i{h}_i(x)\text{\hspace{1em}(6)}$$
因此，该最大化问题的拉格朗日函数为：
$$\begin{array}{rl}{f}_i(\tilde{x})\le 0& ,i=1,\cdots ,m\\ h_i(\tilde{x})=0& ,i=1,\cdots ,p\\ \widetilde{{\lambda }_i}\ge 0& ,i=1,\cdots ,m\\ \widetilde{{\lambda }_i}{f}_i(\tilde{x})=0& ,i=1,\cdots ,m\\ -\nabla g_0(\tilde{x})+\sum _{i=1}^m\tilde{\lambda }\nabla f_i(\tilde{x})+\sum _{i=1}^p{\tilde{\mu }}_i\nabla h_i(\tilde{x})=0& ,\end{array}\text{\hspace{1em}(7)}$$

3.程序验证

撰写MATLAB程序，对结果进行数值上的验证。首先，构造一个最大优化问题：
$$\begin{array}{rl}max& 2x_1+x_2\\ s.t.& x_1+x_2\le 5:\lambda \\ & x_1+2x_2+5=0:\pi \end{array}\text{\hspace{1em}(8)}$$
编写程序（Yalmip+Gurobi）进行计算（当然也能手算）：

%% data
c = [2, 1]';
A = [1, 1]';
B = 5;
E = [1, 2]';
F = -5;

%% model
% varialble
x = sdpvar(2, 1, 'full');
% objective
obj = c'*x;
% constraint
constraints = [A'*x <= 5, E'*x == F];

%% solution
options = sdpsettings('solver', 'gurobi','verbose',2);
solution = optimize(constraints, -obj, options); 
value(x);

得到结果$x_1=15,x_2=-10$。
同时，按照上述方法写出该模型的KKT条件，如下所示：
$$\begin{array}{rl}-2+\lambda +\pi =& 0\\ -1+\lambda +2\pi =& 0\\ \lambda \ge & 0\\ x_1+x_2\le & 5\\ x_1+2x_2+5=& 0\\ \lambda (x_1+x_2-5)=& 0\end{array}\text{\hspace{1em}(9)}$$
首先需要列出朗格朗日函数，这里比较简单就不列出了。可以算出$\pi =-1,\lambda =3,x_1=15,x_2=-10$，与问题原来的最优解相同。

4.总结

本文撰写了“如何写出最大化优化问题的KKT最优条件”的思路，并设计案例进行了数据上的验证。若有问题，还请批评指正。

5.参考文献

---

1. Stephen Boyd, Lieven Vandenberghe. Convex Optimization. ↩︎