【算法讲解】DP优化——四边形不等式优化

前言

此优化策略由高德纳和姚期智发现并证明，故学名称之为 Knuth-Yao Speedup
(Knuth 是算法届的鼻祖，对于算法新手来说，KMP一定不陌生，Knuth 就是三个联合发明人之一的 K；Yao 就是清华姚班的姚期智)
证明过程中依赖四边形不等式，所以也俗称四边形不等式优化，
适用于当 dp 方程、转移函数符合一定特征时，可以将复杂度降低一个维度
属于非常难的 dp 优化，Codeforces 中需要应用此类优化的题目至少是 2400 分以上
证明非常困难，如果前置没有掌握这个知识点，遇到相应的题是无论如何都做不出的

背景

最初发明这个算法的动机，是为了解决最佳二叉搜索树(Optimal Binary Search Tree)问题(OBST 会在其他文章中详细介绍，此处不展开)
朴素的 OBST 问题的解法是$O(n^3)$
Knuth 在1971发现发现当符合某种条件下（见下文的DP策略优化），可以让复杂度降为$O(n^2)$

• $opt(i,j-1)\le opt(i,j)\le opt(i+1,j)$

Yao 在1980年进一步发现下文的推论2和推论3：

• $c(i,j)$ 符合四边形不等式$⟹dp(i,j)$ 也符合四边形不等式
• $dp(i,j)$ 符合四边形不等式$⟹opt(i,j-1)\le opt(i,j)\le opt(i+1,j)$

既只要 $c(i,j)$ 符合四边形不等式，就可以将 OBST 的复杂度降低到 $(n^2)$

问题描述

我们将问题简化，就不直接从 OBST 开始推演，直接给出 dp 方程，OBST 到 dp 方程的推演会在其他文章中介绍

对于下述 dp 方程，$dp(l,r)$ 代表状态，$c(l,r)$ 代表状态转移的代价 cost（$O(1)$的复杂度可以计算得到）
d p ( l , r ) = { min ⁡ k ∈ [ l , r ) { d p ( l , k ) + d p ( k + 1 , r ) } + c ( l , r ) , l < r 0 , l = r ∞ , l > r dp(l,r) = \left\{ \begin{aligned} \min \limits_{k\in [l,r)}\{dp(l,k) + dp(k+1,r)\} + c(l,r),l<r \\ 0,l=r \\ \infty,l>r \end{aligned} \right. dp(l,r)=⎩ ⎨ ⎧​k∈[l,r)min​{dp(l,k)+dp(k+1,r)}+c(l,r),l<r0,l=r∞,l>r​
用朴素的方式直接实现，因为有$O(n^2)$个状态，每次状态转移需要从$l$遍历到$r$，也就是$O(n)$的开销，所以整体复杂度是$O(n^3)$

但是如果$c(l,r)$满足一下两个特性，则可以将复杂度从$O(n^3)$ 优化成 $O(n^2)$：

• 区间单调性：对于任意的$l\le l^{\prime }\le r^{\prime }\le r$，满足 $c(l^{\prime },r^{\prime })\le c(l,r)$
  除了 $c(l^{\prime },r^{\prime })\le c(l,r)$ 之外，还很容易推演出如 $c(l^{\prime },r^{\prime })\le c(l^{\prime },r),c(l,r^{\prime })\le c(l,r)$
• 四边形不等式：对于任意的$l\le l^{\prime }\le r^{\prime }\le r$，满足 $c(l,r^{\prime })+c(l^{\prime },r)\le c(l,r)+c(l^{\prime },r^{\prime })$

推论1

对于任意的$l\le k<r$，以下不等式必定成立
$$dp(l,r)\le dp(l,k)+dp(k+1,r)+c(l,r)$$

证明

非常直观，在上述dp的定义中，$dp(l,r)$ 是枚举所有$k$计算所得的最小值，也就是说对于任意的$k$，$dp(l,k)+dp(k+1,r)+c(l,r)$的计算结果一定大于等于 $dp(l,r)$
且至少一个$k$会使上述不等式变成等式，我们将这个$k$记为$dp(l,r)$的最佳决策点(optimal decistion point)，既：
o p t ( l , r ) ≔ min ⁡ l ≤ k < r { k ∣ d p ( l , r ) = d p ( l , k ) + d p ( k + 1 , r ) + c o s t ( l , r ) } opt(l,r)\coloneqq \min \limits_{l \le k <r} \{k|dp(l,r)=dp(l,k) +dp(k+1,r)+cost(l,r)\} opt(l,r):=l≤k<rmin​{k∣dp(l,r)=dp(l,k)+dp(k+1,r)+cost(l,r)}
所以当 $k=opt(l,r)$ 时，上述不等式变成等式，既
$$\begin{array}{c}dp(l,r)=dp(l,k)+dp(k+1,r)+c(l,r)\end{array}$$

推论2

如果 $c(l,r)$ 满足区间单调性和四边形不等式，则 $dp(l,r)$ 也满足四边形不等式，既
$$dp(l,r^{\prime })+dp(l^{\prime },r)\le dp(l,r)+dp(l^{\prime },r^{\prime })$$
我们将这个命题定义为$P(r)$

证明

既，需要证明命题$P(r)$成立

我们对 $l\le l^{\prime }\le r^{\prime }\le r$ 的根据是否相等的情况分四类进行讨论，分别证明：

• 当 $l^{\prime }=l$ 时
  $$\begin{array}{rlr}dp(l,r^{\prime })+dp(l^{\prime },r)& =dp(l,r^{\prime })+dp(l,r)& \cdots 因为l^{\prime }=l\\ & =dp(l^{\prime },r^{\prime })+dp(l,r)& \cdots 因为l=l^{\prime }\end{array}$$
  命题$P(r)$成立，证明完成

• 当 $r^{\prime }=r$ 时
  同 $l^{\prime }=l$,不赘述

• 当 $l^{\prime }=r^{\prime }$ 时
  根据dp方程定义，当$l^{\prime }=r^{\prime }$时，$dp(l^{\prime },r^{\prime })=0$，所以下述公式成立
  $$\begin{array}{c}dp(l,r)+dp(l^{\prime },r^{\prime })=dp(l,r)+0=dp(l,r)\end{array}$$
  设$k=opt(l,r)$

  • 当 $l^{\prime }=r^{\prime }\le k$ 时
    结合数学归纳法来证明命题$P(r)$
    第一步：证明$r=r^{\prime }$时，$P(r)$成立，上述已经证明(见$r^{\prime }=r$的分组证明)
    第二步：证明假设$r\ge r^{\prime }$时$P(r)$成立，可推导出 P ( { x ∣ x > r } ) P(\{x|x>r\}) P({x∣x>r})成立
    由于$r^{\prime }\le k<r$，我们可以将第二步转化为：假设$P(k)$成立，可推导出$P(r)$成立。也就是说我们有如下假设：
    $$dp(l,r^{\prime })+dp(l^{\prime },k)\le dp(l,k)+dp(l^{\prime },r^{\prime })$$
    有了上述条件，我们可以证明：
    $$\begin{array}{rlr}dp(l,r^{\prime })+dp(l^{\prime },r)& \le dp(l,r^{\prime })+dp(l^{\prime },k)+dp(k+1,r)+c(l^{\prime },r)& \cdots 根据推论(1)展开\\ & \le dp(l,r^{\prime })+dp(l^{\prime },k)+dp(k+1,r)+c(l,r)& \cdots 根据c的单调性\\ & \le dp(l,k)+dp(l^{\prime },r^{\prime })+dp(k+1,r)+c(l,r)& \cdots 根据假设\\ & =dp(l,k)+0+dp(k+1,r)+c(l,r)& \cdots 根据dp定义\\ & =dp(l,r)& \cdots 根据公式(1)\\ & =dp(l,r)+dp(l^{\prime },r^{\prime })& \cdots 根据公式(2)\end{array}$$
    证明完毕。
  • 当 $k<l^{\prime }=r^{\prime }$ 时
    同样结合数据归纳法（将命题参数的位置从$r$换成$l$，既命题$P(l)$）
    第一步：证明$l=l^{\prime }$ 时，$P(l)$成立，上述已经证明(见$l^{\prime }=l$的分组证明)
    第二步，证明假设$l\le l^{\prime }$时$P(l)$成立，可推导出 P ( { x ∣ x < l } ) P(\{x|x<l\}) P({x∣x<l})也成立
    由于$l\le k<l^{\prime }$，也就是说$l<k+1\le l^{\prime }$，所以我们可以将第二步转化为：假设$P(k+1)$成立，可推导初$P(l)$成立。也就是说我们有如下假设：
    $$dp(k+1,r^{\prime })+dp(l^{\prime },r)\le dp(k+1,r)+dp(l^{\prime },r^{\prime })$$
    有了上述条件，我们可以证明：
    $$\begin{array}{rlr}dp(l,r^{\prime })+dp(l^{\prime },r)& \le c(l,r^{\prime })+dp(l,k)+dp(k+1,r^{\prime })+dp(l^{\prime },r)& \cdots 根据推论(1)展开\\ & \le c(l,r)+dp(l,k)+dp(k+1,r^{\prime })+dp(l^{\prime },r)& \cdots 根据c的单调性\\ & \le c(l,r)+dp(l,k)+dp(k+1,r)+dp(l^{\prime },r^{\prime })& \cdots 根据假设\\ & \le c(l,r)+dp(l,k)+dp(k+1,r)+0& \cdots 根据dp定义\\ & =dp(l,r)& \cdots 根据公式(1)\\ & =dp(l,r)+dp(l^{\prime },r^{\prime })& \cdots 根据公式(2)\end{array}$$
    证明完毕。

• 当 $l<l^{\prime }<r^{\prime }<r$ 时
  设$x=opt(l,r),y=opt(l^{\prime },r^{\prime })$
  由 opt 定义可得：$l\le x<r,l^{\prime }\le y<r^{\prime }$

  • 若 $y<x$，将几个不等式聚合，可得$l<l^{\prime }\le y<r^{\prime },x<r$，所以有$l\le y<r^{\prime },l^{\prime }<x<r$，根据推论$(1)$可以得到下面不等式
    $$\begin{array}{c}\begin{array}{r}dp(l,r^{\prime })\le dp(l,y)+dp(y+1,r^{\prime })+c(l,r^{\prime })\\ dp(l^{\prime },r)\le dp(l^{\prime },x)+dp(x+1,r)+c(l^{\prime },r)\end{array}\end{array}$$
    结合数据归纳法来证明命题$P$(这次我们将$P$的参数改为$r^{\prime }$,既命题$P(r^{\prime })$)
    第一步：证明$r^{\prime }=l^{\prime }$时，$P(r^{\prime })$成立，上述已经证明(见$l^{\prime }=r^{\prime }$的分组证明)
    第二步：证明假设$r^{\prime }\ge l^{\prime }$时$P(r^{\prime })$成立，可推导出 P ( { x ∣ x > r ′ } ) P(\{x|x>r'\}) P({x∣x>r′})成立
    由于$r^{\prime }>y\ge l^{\prime }$，我们可以将第二步转化为：假设$P(y)$成立，可推导出$P(r^{\prime })$成立。而因为$x>y$，也就是说我们有如下假设：
    $$dp(l,y)+dp(l^{\prime },x)\le dp(l^{\prime },y)+dp(l,x)$$
    然后开始证明：
    $$\begin{array}{rlr}dp(l,r^{\prime })+dp(l^{\prime },r)& \le dp(l,y)+dp(y+1,r^{\prime })+c(l,r^{\prime })+dp(l^{\prime },x)+dp(x+1,r)+c(l^{\prime },r)& \cdots 根据公式(3)展开\\ & \le dp(l,y)+dp(y+1,r^{\prime })+c(l^{\prime },r^{\prime })+dp(l^{\prime },x)+dp(x+1,r)+c(l,r)& \cdots 根据c的四边形不等式\\ & \le dp(l^{\prime },y)+dp(y+1,r^{\prime })+c(l^{\prime },r^{\prime })+dp(l,x)+dp(x+1,r)+c(l,r)& \cdots 根据假设\\ & =dp(l^{\prime },r^{\prime })+dp(l,r)& \cdots 根据公式(1)\end{array}$$
    证明完毕。
  • 若$x\le y$，将几个不等式聚合，可得$l\le x,l^{\prime }\le y<r^{\prime }<r$，所以有 $l\le x<r^{\prime },l^{\prime }\le y<r$，根据推论$(1)$因此可得
    $$\begin{array}{c}\begin{array}{r}dp(l,r^{\prime })\le dp(l,x)+dp(x+1,r^{\prime })+c(l,r^{\prime })\\ dp(l^{\prime },r)\le dp(l^{\prime },y)+dp(y+1,r)+c(l^{\prime },r)\end{array}\end{array}$$
    再由$x+1\le y+1<r^{\prime }<r$结合数据归纳法，我们可以得到如下假设
    $$dp(x+1,r^{\prime })+dp(y+1,r)\le dp(x+1,r)+dp(y+1,r^{\prime })$$
    然后开始证明：
    $$\begin{array}{rlr}dp(l,r^{\prime })+dp(l^{\prime },r)& \le dp(l,x)+dp(x+1,r^{\prime })+c(l,r^{\prime })+dp(l^{\prime },y)+dp(y+1,r)+c(l^{\prime },r)& \cdots 根据公式(4)展开\\ & \le dp(l,x)+dp(x+1,r^{\prime })+c(l,r)+dp(l^{\prime },y)+dp(y+1,r)+c(l^{\prime },r^{\prime })& \cdots 根据c的四边形不等式\\ & \le dp(l,x)+dp(x+1,r)+c(l,r)+dp(l^{\prime },y)+dp(y+1,r^{\prime })+c(l^{\prime },r^{\prime })& \cdots 根据假设\\ & =dp(l,r)+dp(l^{\prime },r^{\prime })& \cdots 根据公式(1)\end{array}$$
    证明完毕。

自此，四个分类都证明完毕。P为真命题

推论3

若 $dp$ 满足四边形不等式，则$opt$满足单调性，既$opt(l,r-1)\le opt(l,r)\le opt(l+1,r)$

证明

设 $x=opt(l,r-1),y=opt(l,r),z=opt(l+1,r)$，有以下不等式
$l\le x<r-1,l\le y<r,l+1\le z<r$
我们用反证法证明：

• 若$y<x$，结合上述不等式可得$y+1<x+1\le r-1<r$，根据四边形不等式，可得
  $$dp(y+1,r-1)+dp(x+1,r)\le dp(y+1,r)+dp(x+1,r-1)$$
  根据$y$是$dp(l,r)$的最佳决策点，可得
  $$dp(l,y)+dp(y+1,r)\le dp(l,x)+dp(x+1,r)$$
  将两式相加去除相同相，可得
  $$dp(l,y)+dp(y+1,r-1)\le dp(l,x)+dp(x+1,r-1)$$
  这个不等式意味着对于$dp(l,r-1)$来说，$y$是比$x$更佳的决策点，与前置条件$x$是$dp(l,r-1)$的最佳决策点矛盾
  因此，$x>y$不成立，所以$x\le y$成立，既$opt(l,r-1)\le opt(l,r)$
• 如 z < y，结合上述不等式，可得$l<l+1\le z<y$，根据四边形不等式，可得
  $$dp(l,z)+dp(l+1,y)\le dp(l,y)+dp(l+1,z)$$
  根据 $z$ 是 $dp(l+1,r)$ 的最佳决策点，可得
  $$dp(l+1,z)+dp(z+1,r)\le dp(l+1,y)+dp(y+1,r)$$
  两式相加去除相同项，可得
  $$dp(l,z)+dp(z+1,r)\le dp(l,y)+dp(y+1,r)$$
  这个不等式意味着对于$dp(l,r)$来说，$z$是比$y$更佳的决策点，与前置条件$y$是$dp(l,r)$的最佳决策点矛盾
  因此，$y>z$不成立，所以$y\le z$成立，既$opt(l,r)\le opt(l+1,r)$
  证明完毕

DP优化策略

根据定理$(3)$，我们可以知道$dp$的最佳决策点符合$opt(l,r-1)\le opt(l,r)\le opt(l+1,r)$，意味着当我们寻找$opt(l,r)$时，不用从$[l,r]$中找，只需要在$[opt(l,r-1),opt(l+1,r)]$的范围中找就行了
所以在实现DP时，我们可以先从$r-l$小的区间开始DP，然后记录$opt[l,r]$，当$r-l$变大时，它所依赖的$opt(l,r-1),opt(l+1,r)$一定已经被计算出来

复杂度

整体决策的复杂度就是每个$dp$状态所需要转移的复杂度，原本是
$$O(\sum _{1\le l<r\le n}(r-l+1))$$
经过优化后是
$$\begin{array}{rl}& O(\sum _{1\le l<r\le n}(opt(l+1,r)-opt(l,r-1)+1))\\ & =O(\sum _{len=2}^n\sum _{i=1}^{n-len+1}(opt(i+1,i+len-1)-opt(i,i+len-2)+1)),len=r-l+1,i=l\\ & =O(\sum _{len=2}^n(n-len+1+opt(n-len+2,n)-opt(1,len-1)))\\ & \le O(\sum _{len=2}^n[2\ast n-l])\\ & =O(n^2)\end{array}$$

代码

for (int len = 2; len <= n; len++) { // 枚举长度
  for (int l = 1, r = len; r <= n; l++, r++) { // 枚举长度为 len 的所有区间
    dp[l][r] = INFINITY;
    for (int k = opt[l][r-1]; k <= opt[l+1][r]; k++) { // 枚举决策点
      if (dp[l][r] > dp[l][k] + dp[k+1][r] + cost(l,r)) {
        dp[l][r] = dp[l][k] + dp[k+1][r] + cost(l,r);
        opt[l][r] = k; // 更新最佳决策点
      }
    }
  }
}

参考资料

[1] 香港科技大学课件：The Knuth-Yao Quadrangle Inequality Speedup is a Consequence
of Total Monotonicity
[2] OI-wiki：四边形不等式优化
[3] cp-algorithms：Kunth’s optimization
[4] 动态规划加速原理之四边形不等式 —— 华中师大附中 赵爽 （这个没找到原文，随便找了个pdf，如有人知晓请告知）