优化问题之拉格朗日乘子法&KKT条件分析

优化问题

1. 无约束优化问题

   $\min f(x)$，由Fermat’s theorem可知，可微函数的极值点都是其驻点（必要条件），故令其导数为零即可求解，当然也可利用梯度下降算法求解；

2. 等式约束优化问题

   $$\min f_0(x),\ \ s.t.,\ h_i(x)=0,\ i=1, 2,\cdots, p$$ 对于这种情形我们常使用拉格朗日乘子法（Lagrange multiplier）求解；

3. 不等式约束优化问题

   $$\min f_0(x)$$
   $$s.t.,\ h_i(x)=0,i=1, 2,\cdots,p$$
   $$f_i(x)\leq 0,i=1,2,\cdots,m,$$

   对于这种情形我们常使用KKT条件求解，Lagrange 函数L:$R^n\times R^m\times R^p\rightarrow R$为

   $$L(x, \lambda,\mathcal v)=f_0(x)+\sum_{i=1}^m\lambda_if_i(x)+\sum_{i=1}^pv_ih_i(x),$$ 我们假设该问题的定义域（非可行域）为 $$\mathcal D=\bigcap_{i=0}^m\mathbf{dom}f_i\cap\bigcap_{i=1}^p\mathbf{dom}h_i,且原问题的最优值为p^*$$ 另外我们定义Lagrange 对偶函数g:$R^m\times R^p\rightarrow R$为Lagrange函数关于定义域内$x$取得的最小值，即， $$g(\lambda, v)={inf}_{x\in\mathcal D}L(x,\lambda,v)=inf_{x\in\mathcal D}\left(f_0(x)+\sum_{i=1}^m\lambda_if_i(x)+\sum_{i=1}^pv_ih_i(x))\right)$$ 我们可以得出对偶函数构成了原问题最优值$p^*$的下界，即， $$\forall\lambda\succeq 0,v,\ \ g(\lambda, v)\leq p^*.$$ 令$x^*和(\lambda^*,v^*)$分别为原问题和对偶问题的某对最优解，且满足强对偶性（对偶间隙为零），那么我们就可以得到，$f_0(x^*)=g(\lambda^*,v^*)$。另外，
   KKT为， $$\left\{\begin{array}{lr}f_i(x^*)\leq 0,&i=1,2,\cdots,m\\h_i(x^*)=0,&i=1,2,\cdots,p\\\lambda^*_i\geq0,&i=1,2,\cdots,m\\\lambda_i^*f_i(x^*)=0,&i=1,2,\cdots,m\\\nabla f_0(x^*)+\sum_{i=1}^m\lambda_i^*\nabla f_i(x^*)+\sum_{i=1}^pv_i^*\nabla h_i(x^*)=0，&*\end{array}\right.$$
   注，对于上面的所有情况的优化问题，目标函数及其约束函数若为凸函数，可行域组成凸集，才能得到全局最优解，否则只能得到局部最优解，因为这些条件只是必要条件，而非充要条件。。。