原始-对偶的概念及写对偶问题的基本方法

原始-对偶：写对偶问题

1.什么是原始对偶

​ 字面理解：原始问题与对偶问题

假定原始问题为：
$$\begin{array}{c}minf(x)\\ s.t.\{\begin{array}{l}{g}_i\le 0,i=1,...,m\\ h_i=0,i=1,...,p\end{array}\end{array}$$
其对应的拉格朗日函数：
$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^n{\lambda }_i{g}_i(x)+\sum _{i=1}^p{\lambda }_i{h}_i(x)$$
其实原始问题就对应于拉格朗日函数取最大后最小，即：
$$minf(x)=minmaxL(x,\lambda ,\mu )$$
那么其对偶问题其实就是对拉格朗日函数求最小后最大
$$max\theta (\lambda ,\mu )=maxminL(x,\lambda ,\mu )$$

2. 原始问题与对偶问题的关系

假设原问题的最优解为：
$$p^{\ast }=f(x^{\ast })$$
对偶问题的最优解为：
$$d^{\ast }=\theta ({\lambda }^{\ast },{\mu }^{\ast })$$
则对偶问题的最优解是小于或等于原始问题的最优解的
$$d^{\ast }\le p^{\ast }$$
什么时候取等号呢？当然是满足KKT条件的时候。具体原因可以参考以下文章：

SVM原问题与对偶问题 - 简书 (jianshu.com)-

写出原始问题的对偶问题

假如存在如下优化问题（为原始问题）：
$$\begin{array}{r}maxZ=-2x_1+3x_2\\ \{\begin{array}{l}s.t.x_1+x_2\le 3\\ 3x_1+4x_2\ge 10\\ x_1,x_2\ge 0\end{array}\end{array}$$

相应的写出其对偶问题，首先看到问题为最大化问题，所以我们可以相应的写成最小化的问题，把约束条件的整数写成对偶问题的系数，即：
$$minH=3y_1+10y_2$$
以原始问题最大化为例，关于对偶问题的约束一和二：将对偶问题的约束一等于 原始问题的约束条件一的x1的系数加上约束条件二的x1的系数，并将目标函数x1的系数作为约束一的整数，同理对偶问题的约束二进行相同处理，关于大小于号，根据原始问题的未知数x的约束进行判断，可以看到原始问题都是大于等于0（最后一个约束），故这里都使用大于等于。

注意：如果原始问题的约束条件如果是等式，表示对应的对偶问题的未知数没有约束 。

例如：如果原始问题x2无约束，则对偶问题的约束条件2取等号
$$\begin{array}{r}minH=3y_1+10y_2\\ s.t.y_1+3y_2\ge -2\\ y_1+4y_2\ge 3\end{array}$$
关于对偶问题的最后一个约束，观察原始问题的约束条件一和二，一个是大于等于，一个小于于等于（要与约束问题相反），即：
$$y_1\ge 0,y_2\le 0$$
至此我们得到了对偶问题：
$$\begin{array}{r}minH=3y_1+10y_2\\ \{\begin{array}{l}s.t.y_1+3y_2\ge -2\\ y_1+4y_2\ge 3\\ y_1\ge 0,y_2\le 0\end{array}\end{array}$$
原始问题为最小化，对偶问题一般为最大化，反之亦然。同理原始问题为最小化的问题可以根据这个情况进行逆推。