算法导论复习——CHP15 动态规划

Sanchez·J

已于 2024-01-04 15:21:42 修改

阅读量971

点赞数 19

分类专栏：算法导论文章标签：动态规划算法

于 2024-01-01 21:10:02 首次发布

本文链接：https://blog.csdn.net/qq_43010742/article/details/135328535

版权

算法导论专栏收录该内容

11 篇文章 1 订阅

订阅专栏

主要是在最优解问题中。

由例子来引入：

引入

钢条切割问题

可能会想到贪心——总是尽量选价值大的，但是错误的，如下是一个反例：

考虑n = 4的情况，此时最优解是切割成两个2英寸，价值为10，而不是优先选4英寸而得到的9。

从切割入手，假设从左往右看首次切割在位置 i，将钢条分成长度为i和n-i的两段，令 $r_i$ 表示长度为i的最优子切割收益，则必有： $r_n = r_i + r_{n-i}$ ，这其实就是最优子结构。

现在我们知道可以将问题化为更小规模的问题，可以写出（这里相当于是切成两段后，只对其中一段继续切割），可以递归求解，时间复杂度为 $O(2^n)$ 。

为什么复杂度那么高？分析递归树发现存在一些相同的子问题，递归函数反复地用一些相同的参数做重复的递归调用。

于是自然想到把调用过的记录下来，这其实就形成了动态规划算法。

动态规划方法仔细安排求解顺序，对每个子问题只求解一次，并将结果保存下来。如果再次需要此子问题的解，只需查找保存的结果，而不必重新计算。

动态规划方法需要付出额外的空间保存子问题的解，是一种空间换时间的时空权衡。

我们发现，当一个问题的所有子问题最优解都求出来后，其最优解也定了，于是我们也可以自底向上地求解。比如：

        通常，自顶向下法和自底向上法具有相同的渐近运行时间。

        在某些特殊情况下，自顶向下法可能没有递归处理所有可能的子问题（剪枝）。

        由于自底向上法没有频繁的递归函数调用的开销，所以自底向上法的时间复杂性函数通常具有更小的系数

子问题图

子问题图是一个有向图，每个顶点唯一地对应一个子问题。
若求子问题 x 的最优解时需要直接用到子问题 y 的最优解，则在子问题图中就会有一条从子问题x的顶点到子问题y的顶点的有向边。
自底向上的动态规划方法处理子问题图中顶点的顺序为：对一个给定的子问题 x ，在求解它之前先求解邻接至它的子问题。即，对于任何子问题，仅当它依赖的所有子问题都求解完成了，才会求解它。
一般情况下，动态规划算法的运行时间与顶点和边的数量至少呈线性关系。

重构解

即如何保存构成最优解的方案。

对钢条切割问题而言，可如下记录切割方案

记录切割的第一段钢条的长度s[j]

最终如此输出方案

矩阵链乘问题

给定 n 个矩阵的链 $<A_1, A_2, ...,A_n>$ ，其中 i = 1,2,…,n，矩阵Ai的维数为 $p_{i-1}\times p_i$ 。求一个完全“括号化方案” ，使得计算乘积 $A_1A_2...A_n$ 所需的标量乘法次数最小。

还是先来找最优子结构，设 $A[i][j]$ 表示第 i 到 j 个矩阵相乘的最小代价，如果说其在 k 处划分，即这样加括号 $(A_i...A_k)(A_{k+1}...A_j)$ ，那么如果这是 i 到 j 的最优方案， $(A_i...A_k)$ 和 $(A_{k+1}...A_j)$ 必然也分别是 i 到 k 和 k + 1到 j 的最优方案。

因为无论在何处划分，最终将（i 到 k 和 k+1 到 j ）两个子矩阵相乘的代价是不变的（为 $p_{i-1}p_kp_j$ ），所以如果子问题解不是最优，那么可以用更优子问题解替换，达到整体更优，与整体已经最优矛盾。

由此我们可以写出状态转移方程:

$dp[i][j]=\left\{\begin{matrix} 0 & if\ i = j \\ min \{ dp[i][k] + dp[k+1][j]+p_{i-1}p_kp_j\},i\le k\le j-1 &if\ i < j \end{matrix}\right.$

类似地，用s[i, j]来记录每次划分的点位，以此记录方案。

时间复杂度 $O(n^3)$

可以用自底向上的表格法手算：

重构解：

动态规划小结

步骤

第一步：证明问题满足最优性原理

所谓“问题满足最优性原理”即问题的最优决策序列具有最优子结构性。证明问题满足最优性原理是实施动态规划的必要条件，如果证明了问题满足最优性原理，则说明用动态规划方法有可能解决该问题。

第二步：获得问题状态的递推关系式（即状态转移方程）

向后递推或向前递推

动态规划实质上是一种以空间换时间的技术，它在实现的过程中，需要存储过程中产生的各种状态（中间结果），所以它的空间复杂度要大于其它的算法。

时间复杂度的分析

可以用子问题的总数和每个子问题需要考察多少种选择这两个因素的乘积来粗略分析动态规划算法的运行时间。

例如，n 对于钢条切割问题，共有Θ(n)个子问题，每个子问题最多需要考察n 种选择，因此运行时间为 $O(n^2)$ 。 n 对于矩阵链乘法问题共有 $\Theta(n^2)$ 个子问题，每个子问题最多考察 n-1 种选择，因此运行时间为 $\Theta(n^3)$ 。

也可以用子问题图来做同样的分析。顶点对应一个子问题，需要考察的选择对应关联至子问题的边。

例如，n 钢条切割问题中n个顶点，每个顶点最多n条边； n 矩阵链乘法问题中 $n^2$ 个顶点，每个顶点最多n-1条边。

子问题无关性

能够用动态规划策略求解的问题，构成最优解的子问题间必须是无关的，即同一个原问题的一个子问题的解不影响另一个子问题的解，可以各自独立求解。

例如，最长路径问题子问题有关，最短路径问题子问题无关。

最优子结构的证明

“剪切-粘贴”：本质上是反证法，假定原问题最优解中对应的某个子问题的部分解不是该子问题的最优解，而存在“更优的子解” ，那么我们可以从原问题的解中“剪切”掉这一部分，而将“更优的子解”粘贴进去，从而得到一个比最优解“更优”的解，这与最初的解是原问题的最优解的前提假设相矛盾。因此，不可能存在“更优的子解” 。

更多例子

最长公共子序列（LCS）

子序列：

公共子序列：

对给定的两个序列 X 和 Y ，若序列 Z 既是 X 的的子序列，也是 Y 的子序列，则称 Z 是X 和 Y 的公共子序列。

找最优子结构

设有序列 $X<x_1,x2,...,x_n>$ ， $Y<y_1,...,y_m>$ ， $Z<z_1,z_2,...,z_k>$ 为X和Y的一个LCS。考虑几个子问题： $LCS(X_{n-1},Y_{m-1})$ 、 $LCS(X_{n},Y_{m-1})$ 、 $LCS(X_{n-1},Y_{m})$

若 $x_n = y_m$ ，则必有 $z_k=x_n=y_m$ ， $Z_{k-1} = LCS(X_{n-1},Y_{m-1})$

若 $x_n \neq y_m$ 且 $z_k \neq x_n$ ，则 $Z_{k}=LCS(X_{n-1},Y_{m})$

若 $x_n \neq y_m$ 且 $z_k \neq y_m$ ，则 $Z_{k}= LCS(X_{n},Y_{m-1})$

可见该问题具有最优子结构。

写状态转移方程

$DP[i][j]= \left\{\begin{matrix} 0 & if\ i=0 \ or \ j=0\\ DP[i-1][j-1]+1 & if\ i,j>0\ and \ x[i]=y[j]\\ max(DP[i-1][j],DP[i][j-1])&if\ i,j>0\ and \ x[i] \neq y[j] \end{matrix}\right.$

伪代码：

注意其b[i，j]对重构解的实现：

最优二叉搜索树

二叉搜索树的定义

二叉搜索树Ｔ是一棵二元树，它或者为空，或者其每个结点含有一个可以比较大小的数据元素，且有：

        Ｔ的左子树的所有元素比根结点中的元素小；
        Ｔ的右子树的所有元素比根结点中的元素大；
        Ｔ的左子树和右子树也是二叉搜索树。

给定一个n个关键字的已排序的序列K=<k1,k2,…,kn>（不失一般性，设 k1<k2<…<kn），对每个关键字ki，都有一个概率pi表示其被搜索的频率。根据ki和pi构建一个二叉搜索树T，每个ki对
应树中的一个结点。

        对搜索对象x，在T中可能找到、也可能找不到：若x等于某个ki，则一定可以在T中找到结点ki，称为成功搜索。成功搜索的情况一共有n种，即x恰好等于某个ki。
        若x<k1 、或 x>kn 、或 ki<x<ki+1 (1≤i<n)，则在T中搜索x将失败，称为失败搜索。
        为此引入外部结点d0,d1,…,dn，用来表示不在K中的值,称为伪关键字。
        伪关键字在T中对应外部结点，共有n+1个，由此扩展二叉树：内结点表示关键字ki，外结点(叶子结点)表示di。这里每个di代表一个区间。
例如，d0表示所有小于k1的值， dn表示所有大于kn的值，对于i=1,…,n-1，di表示所有在ki和ki+1之间的值。

每个di也有一个概率qi，表示搜索对象x恰好落入区间di的频率。