对偶和KKT条件

前言：

对偶（duality）是优化中的一个很重要的一点，以对偶问题的特性为根本的KKT条件，在很多优化问题的求解上行之有效。本文简要介绍对偶问题的基本概念和核心技术以及KKT求解的原理和方法。

什么是对偶？

对偶问题，就是将原问题（primal problem）转化为对偶问题（dual problem）然后在进行求解的方法。

详细解说对偶

1. 优化问题可以表示为：

$min \quad f_0(x)$
$s.t. f_i(x)<=0 \quad i=1,2,...n;h_j(x)=0 \quad j=1,2,...m$

如果n,m都是0，优化问题为无约束优化问题（无优化问题的对偶问题就是自己），如果n=0，则为等式约束问题。

优化问题的定义域 D为所有函数定义域的交集。

2.一个优化问题的对偶问题可以这样得到：

1.首先写出拉格朗日函数
$L(x,u,v)=f_0(x)+\sum_1^n u_i*f_i(x)+\sum_1^mv_jh_j(x)$
其中$u,v$为拉格朗日乘数，也叫对偶变量，顾名思义，$u,v$是对偶问题中的变量。
2. 拉格朗日函数逐点对x求下确界得到对偶函数
g(u,v)=infx∈DL(x,u,v)=infx∈D