用对偶问题的视角解释匈牙利算法

用对偶的视角解释匈牙利算法

分配指派问题

一个原始的指派问题：有n个工人，和n个需要作业的地点。需要为每个工人安排一个工作的地点，记变量$x_{ij}=0or1$，代表派第i个工人去第j个地点的情况（0代表不指派，1代表指派）。同时将第i个工人派去第j个地点存在一定的开销，记录为$c_{ij}$。公司要求最小化开销，那么这个原始指派问题的数学描述是：
min ⁡ ∑ i = 1 n ∑ j = 1 n c i j x i j s . t . ∑ j = 1 n x i j = 1 ∑ i = 1 n x i j = 1 x i j ∈ { 0 , 1 } \min \sum_{i=1}^n\sum_{j=1}^n c_{ij}x_{ij}\\ s.t. \sum_{j=1}^n x_{ij}=1\\ \sum_{i=1}^n x_{ij}=1\\ x_{ij}\in\{0,1\} mini=1∑n​j=1∑n​cij​xij​s.t.j=1∑n​xij​=1i=1∑n​xij​=1xij​∈{0,1}

常规的匈牙利算法的求解过程（表上求解）

将$c_{ij}$写成矩阵$C$
举例：
$$C=\left[\begin{array}{cccc}14& 5& 8& 7\\ 2& 12& 6& 5\\ 7& 8& 3& 9\\ 2& 4& 6& 10\end{array}\right]$$

1. $C$的每一行减去该行的最小值。
2. 第一步做差得到的矩阵再减去每列的最小值，得到矩阵$R$。

这时候：
$$R=\left[\begin{array}{cccc}9& 0& 3& 0\\ 0& 10& 4& 1\\ 4& 5& 0& 4\\ 0& 2& 4& 6\end{array}\right]$$

3. 找到横线或者竖线用来覆盖$R$中的0元素，并且使得用的线的数量最少

4. 如果使用的线条数量刚好是n条（例子中n=4），那么已经求解得到一个最优解。只要在$R$中选n个0元素，并且这n个元素互相不同行不同列，再使这n个元素对应$x_{ij}$为1，其余$x_{i}j$为0。

5. 若线条的数量小于n条，那么就选择线条没覆盖的数字中的最小值$\delta$，使没被覆盖的数字所在行中的$R$的元素全部减去$\delta$，再使被线条覆盖的列元素全部加上$\delta$。然后返回第三步。

画线后：

此时返回第三步，已经可以找到最少4条线覆盖所有0元素，那么可以得到一个最优解是$x_{12},x_{24},x_{32},x_{41}=1$。

采用对偶观点

原始问题
min ⁡ ∑ i = 1 n ∑ j = 1 n c i j x i j s . t . ∑ j = 1 n x i j = 1 ∑ i = 1 n x i j = 1 x i j ∈ { 0 , 1 } \min \sum_{i=1}^n\sum_{j=1}^n c_{ij}x_{ij}\\ s.t. \sum_{j=1}^n x_{ij}=1\\ \sum_{i=1}^n x_{ij}=1\\ x_{ij}\in\{0,1\} mini=1∑n​j=1∑n​cij​xij​s.t.j=1∑n​xij​=1i=1∑n​xij​=1xij​∈{0,1}

为$C$相关的约束，每行选择一个对偶变量$u_i$，每列选择一个对偶变量$v_j$。

对偶问题则可以写成：
$$\begin{gathered} \max (\sum _{i=1}^n{u}_i+\sum _{j=1}^n{v}_j) \\ s.t.u_i+v_j\le c_{ij}\forall (i,j) \end{gathered}$$
从对偶问题出发要找到最优解，则需要满足三个条件：

(a) $u_i,v_j$ 对于对偶问题是可行的，对偶可行性。(b) 对偶问题中每个取“=”的约束对应的原始变量$x_{ij}=0$，互补松弛性。( c) $u_i,v_j$ 对应的原始问题的解$x_{ij}$是可行的，原始可行性。

表上求解的方法等价于，满足(a),(b)的条件，不断通过迭代调整使得(c )得到满足。

1. $C$的每一行减去该行的最小值。
2. 第一步做差得到的矩阵再减去每列的最小值，得到矩阵$R$。

步骤1，2等价于确定一个初始对偶可行解$u_i={\min }_j{c}_{ij},v_j={\min }_i(c_{ij}-u_i)$。

这个初始对偶解满足对偶可行，原因是矩阵$R$中的每个元素$R_{ij}=c_{ij}-u_i-v_j\ge 0$。即对偶问题约束$u_i+v_j+R_{ij}=c_{ij}$的松弛变量构成了矩阵$R$。

对应上述例子中的第一次迭代中：
$$\begin{gathered} u=[5,2,3,2{]}^{T}v=[0,0,0,2{]}^T \\ R=\left[\begin{array}{cccc}9& 0& 3& 0\\ 0& 10& 4& 1\\ 4& 5& 0& 4\\ 0& 2& 4& 6\end{array}\right] \end{gathered}$$

矩阵中的0元素对应的对偶问题的约束取"="，由（b）条件的互补松弛性满足可以得到对应原始问题的解$x_{ij}=0,if{R}_{ij}=0$。

这时条件(a)和(b)满足了，需要检验条件( c)是否满足。检验条件(c )即对应步骤3。

3. 找到横线或者竖线用来覆盖$R$中的0元素，并且使得用的线的数量最少

如果线条的数量小于n条，那么原问题不可行，否则原问题可行且找到最优解。

对于$R=\left[\begin{array}{cccc}9& 0& 3& 0\\ 0& 10& 4& 1\\ 4& 5& 0& 4\\ 0& 2& 4& 6\end{array}\right]$，对应的原问题的解不可行。那么对偶可行解需要进行调整，列出DRP问题（Dual Restriced Primal）以求得调整方向：
max ⁡ ( ∑ i = 1 n Δ u i + ∑ j = 1 n Δ v j ) s . t .   Δ u i + Δ v j ≤ 0     ∀ ( i , j ) ∈ { ( i , j ) ∣ R i j = 0 } Δ u i , Δ v j ≤ 1 \max (\sum_{i=1}^n\Delta u_i+\sum_{j=1}^n\Delta v_j)\\ s.t.\ \Delta u_i+\Delta v_j\le 0\ \ \ \forall(i,j)\in\{(i,j)|R_{ij}=0\}\\ \Delta u_i,\Delta v_j\le1 max(i=1∑n​Δui​+j=1∑n​Δvj​)s.t. Δui​+Δvj​≤0   ∀(i,j)∈{(i,j)∣Rij​=0}Δui​,Δvj​≤1
例子中为:
$$\begin{gathered} \max (\sum _{i=1}^4\Delta u_i+\sum _{j=1}^4\Delta v_j) \\ s.t.\Delta u_1+\Delta v_2\le 0 \\ \Delta u_1+\Delta v_4\le 0 \\ \Delta u_2+\Delta v_1\le 0 \\ \Delta u_3+\Delta v_3\le 0 \\ \Delta u_4+\Delta v_1\le 0 \\ \Delta u_i,\Delta v_j\le 1 \end{gathered}$$
求解得到一个解$\Delta u=[-1,0,0,0{]}^T,\Delta v=[0,1,0,1{]}^T$

更新对偶问题的可行解为$[u,v]=[u,v]+[\Delta u,\Delta v]$即可在保证对偶可行性的条件下，优化原始可行性条件。

例子中$u_{new}=u+\Delta u=[4,2,3,2{]}^T,v_{new}=v+\Delta v=[0,1,0,3{]}^T$，新的对偶可行解对应的新松弛变量矩阵为：
$$R_{new}=\left[\begin{array}{cccc}10& 0& 4& 0\\ 0& 9& 4& 0\\ 4& 4& 0& 3\\ 0& 1& 4& 5\end{array}\right]，R_{ne{w}_{ij}}=c_{ij}-u_{ne{w}_i}-v_{ne{w}_j}$$
与执行步骤5“若线条的数量小于n条，那么就选择线条没覆盖的数字中的最小值$\delta$，使没被覆盖的数字所在行中的$R$的元素全部减去$\delta$，再使被线条覆盖的列元素全部加上$\delta$。然后返回第三步。”后得到的结果一致。

对例子而言此时已经最优。

需要注意的是，步骤3和步骤5对应了对偶观点中求解DRP问题的过程：（i）步骤5中的矩阵变换做法可以保证$R$矩阵中所有元素非负，并且矩阵的每行每列中至少存在一个0元素，这同时也保证了对应对偶解的可行性。（ii）在DRP求解过程中得到的解和划线方式有严格对应关系，例子中$\Delta u_i=-1$表示第i行被横线划去，$\Delta v_j=0$表示第j列被竖线划去。（iii）步骤5中，对矩阵的调整会使得下一步迭代中$u_{new}=u+\Delta u,v_{new}=v+\Delta v$。