对偶线性规划

对偶线性规划 - 维基百科

单凭这么一段文字，很难想象到底发生了什么，只知道以一定的方式将原线性规划问题变为了另一个线性规划问题。

下表提供了对偶问题的具体构建方法，这应该是一个结论，但我们不知所以然。

当然，照着做确实能把一个线性规划问题转换为其对偶问题，但 why？

简单推导，参考《拉格朗日乘子法》

一般形式的线性规划问题： $$\begin{array}{rl}\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }& {\mathbf{c}}^{⊺}\mathbf{x}\\ subjuctto& A\mathbf{x}=\mathbf{b}\\ & G\mathbf{x}\le \mathbf{h}\end{array}$$ 其中 $\mathbf{b}\in {\mathbb{R}}^m,\mathbf{h}\in {\mathbb{R}}^r$。现在，对其条件进行一些操作：
(1) 对于等式条件 $A\mathbf{x}=\mathbf{b}$，两边同乘以 $\mathbf{u}\in {\mathbb{R}}^m$，有 $${\mathbf{u}}^{⊺}A\mathbf{x}={\mathbf{u}}^{⊺}\mathbf{b}\text{\hspace{1em}(1)}$$
(2) 对于不等式条件 $G\mathbf{x}\le \mathbf{h}$，两边同乘以 $\mathbf{v}\le 0\in {\mathbb{R}}^r$，有 $${\mathbf{v}}^{⊺}G\mathbf{x}\ge {\mathbf{v}}^{⊺}\mathbf{h}\text{\hspace{1em}(2)}$$ 执行 $(1)+(2)$，有 $$\begin{array}{rl}{\mathbf{u}}^{⊺}A\mathbf{x}+{\mathbf{v}}^{⊺}G\mathbf{x}& \ge {\mathbf{b}}^{⊺}\mathbf{u}+{\mathbf{h}}^{⊺}\mathbf{v}\\ (A^{⊺}\mathbf{u}+G^{⊺}\mathbf{v}{)}^{⊺}\mathbf{x}& \ge {\mathbf{b}}^{⊺}\mathbf{u}+{\mathbf{h}}^{⊺}\mathbf{v}\end{array}$$ 令 $\mathbf{c}=A^{⊺}\mathbf{u}+G^{⊺}\mathbf{v}$，则 $${\mathbf{c}}^{⊺}\mathbf{x}\ge {\mathbf{b}}^{⊺}\mathbf{u}+{\mathbf{h}}^{⊺}\mathbf{v}$$ 即 $({\mathbf{b}}^{⊺}\mathbf{u}+{\mathbf{h}}^{⊺}\mathbf{v})$ 是 ${\mathbf{c}}^{⊺}\mathbf{x}$ 的下界。

我们就可以获得原问题的对偶问题：$$\begin{array}{rl}\underset{\mathbf{u}\in {\mathbb{R}}^m,\mathbf{v}\in {\mathbb{R}}^r}{\max }& {\mathbf{b}}^{⊺}\mathbf{u}+{\mathbf{h}}^{⊺}\mathbf{v}\\ subjuctto& A^{⊺}\mathbf{u}+G^{⊺}\mathbf{v}=\mathbf{c}\\ & \mathbf{v}\le 0\end{array}$$ 这只是对标准形式的推导，稍微变化就可以对照上表中的各种情况。
【本质上是拉格朗日对偶】

例子

下面以推导方式和对表方式将这个表中的问题甲转换为问题乙：

推导

$\forall y_1\in \mathbb{R}$，有 $(5x_1+6x_2)y_1=7y_1$；$\forall y_2,y_3<0$，有 $y_2{x}_1+y_3{x}_2\le 0$，则 $$\begin{array}{r}(5x_1+6x_2)y_1+(y_2{x}_1+y_3{x}_2)\le 7y_1\\ (5y_1+y_2)x_1+(6y_1+y_3)x_2\le 7y_1\end{array}$$ 令 $\mathbf{c}=(5y_1+y_2,6y_1+y_3)=(3,4)$，那么 $$\begin{array}{r}(5y_1+y_2)x_1+(6y_1+y_3)x_2=3x_1+4x_2\le 7y_1\end{array}$$ 即 $7y_1$ 是 $(3x_1+4x_2)$ 的一个上限。且由于 $y_2,y_3<0$，故而 $5y_1>3,6y_1>4$，就得到了表右边对偶问题。

对照

$\mathbf{c}=(3,4)$，$A=\left[\begin{array}{cc}5& 6\end{array}\right]$，$\mathbf{b}=(7)$，那么按照构建表，对偶问题应该是 $$\begin{array}{rl}\underset{\mathbf{y}\in {\mathbb{R}}^m}{\max }& {\mathbf{b}}^{⊺}\mathbf{y}\\ subjuctto& A^{⊺}\mathbf{y}\underset{>}{\overset{<}{=}}\mathbf{c}\end{array}$$ 代入，即 $$\begin{array}{rl}\underset{\mathbf{y}\in {\mathbb{R}}^m}{\max }& 7y_1\\ subjuctto& 5y_1\ge 3\\ & 6y_1\ge 4\\ & y_1\in \mathbb{R}\end{array}$$ 这可能经过练习熟练后，才适合这么做，否则一头雾水，也容易出错。

最优传输的对偶问题

d M ( r , c ) = min ⁡ P ∈ U ( r , c ) ∑ i , j P i j M i j U ( r , c ) = { P ∈ R > 0 n × m ∣ P 1 m = r , P ⊺ 1 n = c } \begin{aligned} d_M(\bm{r}, \bm{c}) &= \min_{ P \in U(\bm{r}, \bm{c}) } \sum_{i,j} P_{ij} M_{ij} \\ U(\bm{r}, \bm{c}) &= \{ P\in \mathbb{R}_{>0}^{n \times m} \mid P\bm{1}_m = \bm{r}, P^\intercal\bm{1}_n = \bm{c}\} \end{aligned} dM​(r,c)U(r,c)​=P∈U(r,c)min​i,j∑​Pij​Mij​={P∈R>0n×m​∣P1m​=r,P⊺1n​=c}​ 写得更正式一点就是 $$\begin{array}{rl}\underset{P}{\min }& \sum _{i,j}{P}_{ij}{M}_{ij}\\ subjuctto& P{1}_m=\mathbf{r}\\ & P^{⊺}{1}_n=\mathbf{c}\\ & P>0\end{array}$$ 仿照上面的推导步骤，设 $\mathbf{\alpha }\in {\mathbb{R}}^n,\mathbf{\beta }\in {\mathbb{R}}^m$，有 $$\begin{array}{r}{\mathbf{\alpha }}^{⊺}P{1}_m={\mathbf{\alpha }}^{⊺}\mathbf{r}\\ {\mathbf{\beta }}^{⊺}{P}^{⊺}{1}_n={\mathbf{\beta }}^{⊺}\mathbf{c}\end{array}$$ 两行相加，得 $$\begin{array}{r}{\mathbf{\alpha }}^{⊺}P{1}_m+{\mathbf{\beta }}^{⊺}{P}^{⊺}{1}_n={\mathbf{\alpha }}^{⊺}\mathbf{r}+{\mathbf{\beta }}^{⊺}\mathbf{c}\end{array}$$ 因为最优传输解问题是最小化问题，我们就找一个比之更小的式子，然后最大化，那么令 $$\begin{array}{r}{\mathbf{\alpha }}^{⊺}P{1}_m+{\mathbf{\beta }}^{⊺}{P}^{⊺}{1}_n={\mathbf{\alpha }}^{⊺}\mathbf{r}+{\mathbf{\beta }}^{⊺}\mathbf{c}\le ⟨P,M⟩\\ {\mathbf{\alpha }}^{⊺}P{1}_m+{\mathbf{\beta }}^{⊺}{P}^{⊺}{1}_n\le ⟨P,M⟩\end{array}$$ 即 $$\sum _{i,j}{P}_{ij}({\alpha }_i+{\beta }_j)\le \sum _{i,j}{P}_{ij}{M}_{ij}$$ 如果最大化 $$\sum _{i,j}{P}_{ij}({\alpha }_i+{\beta }_j)={\mathbf{\alpha }}^{⊺}P{1}_m+{\mathbf{\beta }}^{⊺}{P}^{⊺}{1}_n={\mathbf{\alpha }}^{⊺}\mathbf{r}+{\mathbf{\beta }}^{⊺}\mathbf{c}$$ 就能获得原问题的最优解。由于 $P>0$ 是变量，要想使 ${\sum }_{i,j}{P}_{ij}({\alpha }_i+{\beta }_j)\le {\sum }_{i,j}{P}_{ij}{M}_{ij}$ 始终成立，就必须 ${\alpha }_i+{\beta }_j\le M_{ij}$，于是，对偶问题：$$\begin{array}{rl}\underset{\mathbf{\alpha }\in {\mathbb{R}}^m,\mathbf{\beta }\in {\mathbb{R}}^n}{\max }& {\mathbf{\alpha }}^{⊺}\mathbf{r}+{\mathbf{\beta }}^{⊺}\mathbf{c}\\ subjuctto& {\alpha }_i+{\beta }_j\le M_{ij}\end{array}$$