数据结构与算法分析~笔记10 算法设计与分析

10.1 分治法

分治法的设计思想：“分治”的字面解释就是“分而治之”，即将一个难以解决的大问题分割成若干个规模较小的子问题，以便各个击破，分而治之。分治法是很多高效算法的基础，如快速排序、归并排序等排序算法，以及傅里叶变换等。
如果原问题可以分割成k个子问题，且这些子问题都可解并可以根据这些子问题的解求出原问题的解，那么应用分治法就是可行的。由分治法分割产生的子问题往往是原问题的较小模式，而问题的规模越小，越容易直接求解，解题所需的计算时间也越少。
大量实践发现，在用分治法设计算法时，最好使子问题的规模大致相同，即将一个问题分成大小相等的k个子问题进行处理比较容易解决。许多问题可以取k=2解决，其中二分搜索算法就是运用分治法的典型例子。
利用分治法分割产生子问题一般采用递归算法。采用分治法使子问题与原问题类型一致而问题规模不断缩小，最终使子问题的规模缩小到很容易求出解来，由此产生递归算法。

10.2 回溯法

回溯法（Back Tracking Method）可以系统地搜索问题的所有解，是一个具有系统性和跳跃性的算法。有些问题，如搜索问题和优化问题，它们的解分布在一个解空间里，求解这些问题的算法就是一种遍历搜索解空间的系统方法，所以解空间又称为搜索空间。回溯法将搜索空间看成树形结构，一个问题的解对应树中的一个叶子结点。
基本思想：回溯法在问题的解空间树中，按照深度优先策略，从根结点出发搜索解空间树。算法搜索至解空间树的任一结点时，先判断该结点是否包含问题的解。如果不包含，则跳过对以该结点为根的子树的搜索，逐层向其祖先结点回溯；否则，进入该子树，继续进行深度优先策略搜索。回溯法求问题的所有解时，要回溯到根结点，且根结点所有子树都被搜索完才算结束。
回溯法对任一解的生成，一般都采用逐步扩大解的方式。每前进一步，都试图在当前部分解的基础上扩大该部分解。它在问题的状态空间树中，从开始结点（根结点）出发，深度优先搜索整个状态空间。这个开始结点成为活结点，同时也成为当前的扩展结点。在当前扩展结点处，搜索向纵深方向移至一个新结点。这个新结点成为新的活结点，并成为当前扩展结点。如果在当前扩展结点处不能再向纵深方向移动，则当前扩展结点就成为死结点。此时，应往回移动（回溯）至最近的活结点处，并使这个活结点成为当前的扩展结点。回溯法以这种工作方式递归地在状态空间中搜索，直到找到所要求的解或者解空间中已无活结点时为止。
回溯法与穷举法有某些联系，它们都是基于试探。穷举法要将一个解的各个部分全部生成后，才检查是否满足条件，若不满足，则直接放弃该完整解，然后再尝试另一种可能的完整解，而没有沿着一个可能的完整解的各个部分逐步回退生成解的过程。但对于回溯法来说，一个解的各个部分是逐步生成的，当发现当前生成解的某部分不满足约束条件，就放弃该步所做的工作，退回到上一步并进行新的尝试，而不是放弃整个生成解重来。一般来说，回溯法要比穷举法效率更高些。

10.3 贪心算法

贪心算法（Greedy Method）是一种通用的算法设计方法，在许多最优化问题求解中得到了广泛应用，例如求图的最小生成树的Prim算法和Kruskal算法，单源最短路径的Dijkstra算法，数据压缩的Huffman算法，特别是对于许多NP难得组合优化问题，目前仍未找到有效解决的算法，于是只能选用相对比较好的近似算法，而贪心算法则常用于这些近似算法的设计。
贪心算法和动态规划算法一样，常用于求解最优化问题，即量的最大化或最小化。然而贪心算法与动态规划又有所不同。动态规划通常包含一个用来寻找局部最优解的迭代过程。
贪心算法的求解则是一个多步决策的过程，每步决策的时候不考虑子问题的计算结果，而是经过少量的计算，根据当前情况做出取舍，这样一步步地来构筑解，每一步均建立在局部最优解的基础上，同时又扩大了局部解的规模。显然这种算法的计算工作量比起动态规划来说要少的多，这也是贪心算法高效率的原因。它所做出的每一个选择都是当前状态下局部的最好选择，即贪心选择。
可以用贪心算法求解的问题，一般具有两个重要的性质：贪心选择性质和最优子结构性质：
（1）贪心选择性质：贪心选择性质是指所求问题的整体最优解可以通过一系列局部最优的选择（贪心选择）来达到，它采用自顶向下的方式将所求问题简化为规模更小的子问题。
（2）最优子结构性质：当一个问题的最优解包含其子问题的最优解时，称此问题具有最优子结构性质。

10.4 动态规划法

动态规划法（Dynamic Programming）与分治法有些类似，其基本思想也是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解。
与分治法不同的是，适用于动态规划求解的问题，经分割得到的子问题往往不是互相独立的。若用分治法解决这类问题，分割得到的子问题数目太多，以致最后解决原问题需要耗费指数时间，因此使用这种方法解决此类问题并不会变得简单。
动态规划是一种将问题实例分解为更小的、相似的子问题，并存储子问题的解而避免计算重复的子问题，以解决最优化问题的算法策略。但在递增生成子解的过程中，力图朝最优方向进行，而且也不回溯。因此，动态规划效率最高，且常用来求最优解，而不像回溯法那样可直接求完整解。通常可按照以下步骤来设计动态规划算法：
（1）找出最优解的性质，并刻画其结构特征；
（2）递归地定义最优值；
（3）以自底向上的方式计算得出最优值；
（4）根据计算最优值时得到的信息构造最优解。
步骤（1）~（3）是动态规划算法基本步骤。若只需要求出最优值，则步骤（4）可以省略。若需要求出问题的最优解，则必须执行步骤（4）。此时，在步骤（3）中计算最优值时，通常需要记录更多的信息，以便在步骤（4）中，能够根据所记录的信息快速构造出最优解。
使用动态规划解决的问题必须满足一定条件：最优化原理（最优子结构性质）和子问题的重叠性。
1. 最优化原理（最优子结构性质）
最优化原理可以这样阐述：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足最优化原理称其具有最优子结构性质。
2. 子问题的重叠性
对于重复出现的子问题，只在第一次遇到时加以求解，并把答案保存起来，让以后再遇到时直接引用，不必重新求解。

10.5 分支限界法

分支限界法（Branch-and-Bound）类似于回溯法，它们都是在解空间树上搜索问题的解，也可以看做是回溯法的改进。在回溯法中，是在整个状态空间树中搜索解，并用约束条件判断搜索过程，一旦发现不可能产生问题的部分解，就终止对相应子树的搜索，从而避免不必要的工作。分支限界与回溯在两个方面存在差异：控制条件和搜索方式。
（1）控制条件：回溯法一般使用约束条件产生部分解。若满足约束条件，则继续扩大该解；否则丢弃，重新搜索。而在分支限界法中，除了使用约束函数之外，还使用更有效的评判函数——目标函数控制搜索进程，从而能够尽快得到最优解。
（2）搜索方式：回溯法中的搜索一般是以深度优先方式进行的，而在分支限界法中一般是以广度优先方式进行搜索的。
下面以优化问题中的极大化问题为例来说明分支限界的设计思想。
为加快裁剪分支（回溯）的速度，需要更多的约束条件。约束条件越多，不满足条件的可能性越大，回溯的机会就越多，裁剪的分支数就越多，算法也就更快。为建立新的约束条件，特定义两个新函数：代价函数和界函数。
代价函数的定义域是搜索树中所有结点构成的集合，函数值的含义：当搜索进行到此结点时，之后不论如何选择此结点的后代，目标函数所能达到的最大值都不会超过代价函数的值。即代价函数在某个结点的函数值是在以该结点为根的子树中，所有叶子结点对应的可行解的目标函数值的一个上界。因而对于极大化组合优化问题，代价函数在双亲结点的值大于或等于在孩子结点的值。
界函数的定义域也是搜索树中所有结点构成的集合，其函数值是搜索到此结点时已经得到的可行解的目标函数的最大值。
当回溯算法搜索到某结点时，如果代价函数的函数值小于界函数的函数值，则在搜索该结点的子孙时，所找到的可行解的目标函数值不可能比界函数值更大，即不可能找到更优的解。因而可以增加代价函数值大于界函数值这一约束条件来加快回溯，由此得到如下分支限界算法的基本思想：
（1）设立代价函数，具有如下性质：函数值是以该结点为根结点的搜索树中所有可行解的目标函数值的上界；可以看出双亲结点的代价大于等于孩子结点的代价。
（2）设立界，其值是当时已经得到的可行解的目标函数的最大值。
（3）搜索中停止分支的依据：如果某个结点不满足约束条件或者其代价函数小于当时的界函数，则不再分支，向上回溯到双亲结点。
（4）界的更新：如果目标函数值为正数，初值可设置为0。在搜索中如果得到一个可行解，计算可行解的目标函数值，如果这个值大于当时的界，就将这个值作为新的界。
对于极小化问题，将上述内容进行对偶即可，即在上述基本思想中将“上界”改成“下界”，“大于”改成“小于”，“最大值”改成“最小值”。
从活结点表中选择下一个扩展结点的不同方式导致不同的分支限界法。常用的有以下两种方式。
① 队列式（FIFO）分支限界法：将活结点表组织成一个队列，并按队列的先进先出原则选取下一个结点作为当前的扩展结点。
② 优先队列式分支限界法：将活结点表组织成一个优先队列，并按优先队列中规定的结点优先级选取优先级最高的下一个结点作为当前的扩展结点。