算法导论总结索引 | 第一部分第四章：分治策略

Asher Gu

于 2024-02-14 19:24:09 发布

阅读量941

点赞数 22

分类专栏：算法导论文章标签：算法

本文链接：https://blog.csdn.net/AsherGu/article/details/136078443

版权

算法导论专栏收录该内容

19 篇文章 1 订阅

订阅专栏

1、分治策略，递归地求解一个问题，在每层递归中应用如下三个步骤：
分解步骤将问题划分为一些子问题，子问题的形式与原问题一样，只是规模更小
解决步骤递归地求解出子问题。如果子问题的规模足够小，则停止递归，直接求解
合并步骤将子问题的解组合成原问题的解

当子问题足够大，需要递归求解时，称之为递归情况；当子问题变得足够小，不再需要递归时，表示递归已触底，进入了基本情况

2、递归式可以自然地刻画分治算法的运行时间。一个递归式就是一个等式或不等式，它通过更小的输入上的函数值来描述一个函数
比如，第二章 3.2描述的合并过程的最坏情况运行时间T(n)

求解可得 T(n) = Θ(nlgn)

递归式可以有很多形式。例如：一个递归算法可能将问题划分为规模不等的子问题，如 2/3对1/3 的划分。如果分解和合并步骤都是线性时间的，这样的算法会产生递归式 T(n) = T(2n/3) + T(n/3) + Θ(n)

子问题的规模不必是原问题规模的一个固定比例。比如线性查找的递归版本仅生成一个子问题，其规模仅比原问题的规模少一个元素。每次递归调用将花费常量的时间再加上下一层递归调用的时间（想到第二章的递归树），因此递归式为 T(n) = T(n-1) + Θ(1)

介绍三种求解递归式的方法（算出算法的Θ或O渐近界的方法）
1）代入法猜测一个界，用数学归纳法证明这个界是正确的

2）递归树法将递归式转换成一棵树，其结点表示不同层次的递归调用产生的代价（拆分+合并代价）。然后使用边界和（每层和相加）来求解递归式

3）主方法求解形如 T(n) = aT(n/b) + f(n) 的递推式的界，其中 a>=1，b>1，f(n)是一个给定的函数
这种形式的递归式刻画了这样的分治算法：生成 a个子问题，每个子问题的规模是原问题规模的 1/b，分解和合并步骤总共花费时间为 f(n)

当遇到不等式的递归式时，例如：T(n) <= 2T(n/2) + Θ(n) 因为这样一种递归式仅描述了T(n)的一个上界，因此可以用大O符号而不是 Θ符号来描述其解；如果换成大于等于，递归式只给出了下界，应使用 Ω符号来描述其解

3、忽略递归式声明和求解的一些技术细节
1）忽略向下取整、向上取整。比如第二章归并排序，考虑n为奇数的情况，描述合并过程最坏情况运行时间的准确递归式为

但是求解的时候使用
使用的递归式

2）边界条件是另一类通常忽略的细节。出于方便，一般忽略递归式的边界条件，假设对很小的n，T(n)为常量
合并过程中最坏情况
所以被表示为
使用的递归式
去掉了n很小的时候函数值的显性描述。虽然改变T(1)的值会改变递归式的精确解，但是改变幅度不会超过一个常数因子，因而函数的增长阶不会变

当声明、求解递归式时，常常忽略向下取整、向上取整及边界条件。先忽略这些细节，再确定这些细节对结果是否有大的影响

1、最大子数组问题

买一次股票收益最大化：有的时候最大收益既不是在最低价格时买进，也不是在最高价格时卖出
股票收益最大化问题

1、暴力求解方法
尝试每种买入卖出组合，n天中有Cn²种日期组合，因为 Cn² = Θ(n²)，而处理每对日期所花费的时间至少也是常量，因此这种方法的运行时间为 Ω(n²)

2、问题变换
目标是寻找一段日期，使得第一天到最后一天的股票价格净变值最大。所以不再从每日价格的角度去看待输入数据，而是考察每日价格的变化，第i天的价格变化定义为第i天和第i-1天的价格差。表格的最后一行给出了每日价格变化，把这一行看成数组A，问题转化为

寻找A的和最大的非空连续子数组，称这样的连续子数组为最大子数组
求最大子数组
计算所有 Θ(n²) 个子数组和时，可以利用之前计算出的子数组和来计算当前子数组的和，使得每个子数组和的计算时间为 O(1)，从而暴力求解方法花费的时间 Θ(n²)

3、使用分治策略的求解方法
将子数组划分为两个规模尽量相等的子数组，找到子数组的中央位置，然后考虑求解两个子数组 A[low…mid]和A[mid+1…high]

A[low…high] 的任何连续子数组 A[i…j] 所处的位置必然是以下三种情况之一：
1）完全位于子数组A[low…mid]中，因此 low <= i <= j <= mid
2）完全位于子数组A[mid+1…high]中，因此 mid < i <= j <= high
3）跨越了中点，因此 low <= i <= mid < j <= high

A[low…high]的最大子数组必然是完全位于 A[low…mid]中、完全位于 A[mid+1…high]中或者跨越中点的所有子数组中和的最大者。可以递归地求解 A[low…mid] 和 A[mid+1…high]的最大子数组，这两个子问题仍是最大子数组问题，只是规模更小

剩下的就是寻找跨越中点的最大子数组，在三种情况中选取和最大者
对于跨越中点的最大子数组，只需要找出形如A[i…mid] 和 A[mid+1…j]的最大子数组，将其合并即可

FIND-MAX-CROSSING-SUBARRAY(A, low, mid, high)
left-sum = -inf
sum = 0
for i = mid downto low
	sum = sum + A[i]
	if sum > left-sum
		left-sum = sum
		max-left = i
right-sum = -inf
sum = 0
for j = mid to high
	sum = sum + A[j]
	if sum > right-sum
		right-sum = sum
		max-right = j
return (max-left, max-right, left-sum + right-sum)

最后返回子数组的边界下标以及子数组的和

子数组A包含 n个元素，调用 FIND-MAX-CROSSING-SUBARRAY(A, low, mid, high) 花费 Θ(n)的时间
由于两个for循环的每次迭代花费 Θ(1)时间，总迭代次数为

设计求解最大子数组问题的分治算法的伪代码
分治算法伪代码
4、分治算法的分析
建立一个递归式来描述递归过程 FIND-MAXIMUM-SUBARRAY的运行时间
像分析归并排序一样，对问题进行简化，假设原问题的规模为2的幂。用T(n)表示 FIND-MAXIMUM-SUBARRAY 求解n个元素的最大子数组的运行时间

对于n=1的基本情况，T(1) = Θ(1)
当 n>1 时为递归情况，解决两个子问题：左子数组和右子数组，求解时间均为 T(n/2)。分解时间为 Θ(1)，第6行调用 FIND-MAX-CROSSING-SUBARRAY花费 Θ(n)时间，第7-11行花费 Θ(1) 时间
计算时间花费
综合T(1) = Θ(1) 以及上式，T(n)的递归式：
T(n)表达式
主方法求解递归式，其解为 T(n) = Θ(nlgn)，优于暴力法

2、矩阵乘法的Strassen算法

普通矩阵相乘，A，B都是 n×n 的方阵

矩阵相乘伪代码
由于三重for循环的每一重都恰好执行n步，第7行每次执行花费常量时间，因此过程 SQUARE-MATRIX-MULTIPLY 花费 Θ(n³) 时间
Strassen n×n矩阵相乘的递归算法，运行时间为 Θ(n^lg7)，由于 lg7 在2.80 和 2.81之间，因此 Strassen算法的运行时间为 O(n^2.81)，渐近复杂性优于简单的 SQUARE-MATRIX-MULTIPLY 过程

2.1 简单的分治算法（58）

1、计算矩阵 C = A·B 时，假定三个矩阵均为n×n矩阵，其中 n为2的幂（保证分解后为整数）
分解成子句中
计算过程
每个公式对应两对 n/2×n/2 矩阵的乘法及 n/2 × n/2 积的加法
利用公式设计直接的递归分治算法：

SQUARE-MATRIX-MULTIPLY-RECURSIVE(A, B)
n = A.rows
if n == 1
	c11 = a11 · b11
else 把A,B,C分解成4个 n/2×n/2 的子矩阵
	C11 = SQUARE-MATRIX-MULTIPLY-RECURSIVE(A11, B11) + SQUARE-MATRIX-MULTIPLY-RECURSIVE(A12, B21)
	C12 = SQUARE-MATRIX-MULTIPLY-RECURSIVE(A11, B12) + SQUARE-MATRIX-MULTIPLY-RECURSIVE(A12, B22)
	C21 = SQUARE-MATRIX-MULTIPLY-RECURSIVE(A21, B11) + SQUARE-MATRIX-MULTIPLY-RECURSIVE(A22, B21)
	C22 = SQUARE-MATRIX-MULTIPLY-RECURSIVE(A21, B12) + SQUARE-MATRIX-MULTIPLY-RECURSIVE(A22, B22)

第5行应该如何分解矩阵？如果创建 12个新的 n/2×n/2 矩阵，将会花费 Θ(n²) 时间复制矩阵元素
不复制矩阵，使用下标计算，执行分解只需要Θ(1)的时间

2、推导递推式刻画 SQUARE-MATRIX-MULTIPLY-RECURSIVE的运行时间

对n = 1的情况下，只需要进行一次标量乘法（c11 = a11 · b11）因此 T(1) = Θ(1)
对n > 1的情况下，使用下标分解矩阵花费Θ(1)时间，共8次递归调用 SQUARE-MATRIX-MULTIPLY-RECURSIVE，每次调用完成两个n/2×n/2矩阵的乘法，总时间为 8T(n/2)
同时还需要计算 4次矩阵加法，每个矩阵包含n²/4个元素，因此每次矩阵加法花费 Θ(n²)时间，矩阵加法的次数是常数，总时间为 Θ(n²)

递归情况的总时间为分解时间、递归调用时间及矩阵加法时间之和

如果通过复制元素来实现分解，额外开销 Θ(n²)，递归式不会发生改变，运行总时间将会提高常数倍

SQUARE-MATRIX-MULTIPLY-RECURSIVE运行时间的递归式

利用主方法求解递归式，得到的解是 T(n) = Θ(n³)
简单的分治法并不优于直接的 SQUARE-MATRIX-MULTIPLY过程

对于分解和合并过程，分解两个矩阵，进行4次相加都可以省略常数因子，但是当分析8次递归调用时，就不能简单省略常数因子8了。原因可以通过递归树来理解，因子8 决定了树中每个节点有几个孩子节点，进而决定了树的每一层为总和贡献了多少项，如果省略，递归树就变成线性结构

渐近符号包含了常数因子，但递归符号（如 T(n/2)) 并不包含

2.2 Strassen方法（60）

1、方法的核心思想是令递归树稍微不那么茂盛一点，只递归7次而不是8次 n/2×n/2矩阵的乘法。减少一次矩阵乘法带来的代价可能是额外几次 n/2×n/2 矩阵的加法，但只是常数次

2、Strassen算法运行时间T(n) 的递归式
Strassen算法递归式
用常数次矩阵乘法的代价减少了一次矩阵乘法（必须进行10次 n/2×n/2 矩阵的加减法），此递归式的解为 T(n) = Θ(n^lg7)

3、求解递归式

3.1 代入法求解递归式（62）

1、代入法求递归式分两步：
1）猜测解的形式
2）用数学归纳法求出解中的常数，并证明解是正确的

可以用代入法为递归式建立上界或下界

例如：确定下面递归式的上界
在这里插入图片描述
该递归式与之前的2中的递归式相似，猜测其解为 T(n) = O(nlgn)。代入法要求证明，由常数 c>0，可有 T(n)<=cn lgn。首先假定此上界对所有正数 m<n 都成立，特别是对于m = ⌊n/2⌋（右边出现的符号），有T(⌊n/2⌋) <= c⌊n/2⌋lg(⌊c/2⌋)，带入递归式
在这里插入图片描述
只要 c>=1，最后一步都会成立

数学归纳法要求我们证明解在边界条件下也成立。对于归纳证明，边界条件适合作为基本情况。我们必须证明，通过选择足够大的常数c，可以使得上界T(n) <= cn lgn对边界条件也成立

假设T(1) = 1是递归式唯一边界条件，但是对于n=1，边界条件 T(n) <= cn lgn 推导出 T(1) <= c1 lg1 = 0，与T(1) = 1矛盾，因此归纳证明不成立
要克服这个障碍，对特定的边界条件证明归纳假设成立。渐近符号仅要求我们对 n>=n0 证明 T(n) <= cn lgn，其中 n0 是我们可以自己选择的常数
首先观察到对于 n>3，递归式并不直接依赖于 T(1)，将归纳证明中的基本情况 T(1) 替换成 T(2) 和 T(3)，并令 n0=2
任何 c>=2 都能保证 n=2 和 n=3 的基本情况成立

拓展边界条件使归纳假设对较小的n成立，是一种简单直接的方法

2、做出好的推测：
1）使用递归树

2）要求解的递归式与曾经见过的递归式相似，那么猜测一个类似的解是合理的
如：在这里插入图片描述
在等式的右边加了个17，当n较大时，⌊n/2⌋和⌊n/2⌋+17差距不大：都是接近n的一半。因此猜测T(n)=O(n lgn)

3）另一种做出好的猜测的方法是先证明递归式较松的上下界，然后缩小不确定的范围
比如对于在这里插入图片描述
可以从下界 T(n)=Ω(n) 开始，因为递归式中包含n这一项，还可以证明一个初始上界 T(n) = O(n²)，然后可以逐渐降低上界，提升下界，直至收敛到渐近紧确界 T(n) = Θ(n lgn)

3、正确猜出了递归式解的渐近界，但莫名其妙在归纳证明时失败了：问题常常出在归纳假设不够强，无法证出准确的界。当遇到这种障碍时，如果修改猜测，将它减去一个低阶的项，数学证明常常能顺利进行
如：在这里插入图片描述
猜测解为 T(n) = O(n)，尝试证明对某个恰当选出的常数c，T(n) <= cn 成立
将猜测带入递归式，得到：
这并不意味着对任意c都有 T(n) <= cn，可能忍不住尝试一个更大的界（如T(n) = O(n²)）
但其实原来的假设 T(n) = O(n) 是对的，必须做出更强的假设

直觉上猜测是接近正确的：只差一个常数1，一个低阶项。除非证明与归纳假设严格一致的形式，否则数学归纳法还是会失败。克服这个困难的方法是从先前的猜测中减去一个低阶项，新的猜测是 T(n) <= cn-d

减去一个低阶项的想法与直觉是相悖的。但是更松的界难道不是更容易证明？不一定
实际上更弱的上界可能会更困难，因为为了证明更弱的上界，在归纳证明中也必须使用同样更弱的界。当递归式包含超过一个递归项时，将猜测的界减去一个低阶项意味着每次对每个递归项都减去一个低阶项
上例中对 T(⌊n/2⌋) 以及 T(⌈n/2⌉)分别减去 d，以不等式 T(n) <= cn - 2d + 1结束，可以很容易找到一个d，使得 cn-2d+1 小于等于 cn-d

4、避免陷阱：错误地证明 T(n) = O(n)：
在这里插入图片描述
错误在于并未证出与归纳假设严格一致的形式，即T(n) <= cn。当要证明 T(n) = O(n) 时，需要显式地证出 T(n) <= cn

5、改变变量：即变量代换
如：在这里插入图片描述
不必担心值的舍入误差问题，只考虑√n是整数的情形即可。令 m = lgn
得到：T(2^m) = 2T(2^m/2) + m
重命名 S(m) = T(2^m)，得到：S(m) = 2S(m/2) + m
这与递归式很像，确实有相同的解：S(m) = O(m lgm)
从S(m) 转换回 T(n)，得到在这里插入图片描述

3.2 用递归树方法求解递归式（65）

1、递归树中，每个节点表示单一子问题的代价，子问题对应某次递归函数调用。将树中每层中的代价求和，得到每层代价，然后将所有层的代价求和，得到所有层次的递归调用的总代价

2、递归树最适合用来生成好的猜测，然后即可用代入法来验证猜测是否正确
以在这里插入图片描述为例如何使用递归树生成一个好的猜测。首先关注如何寻找解的一个上界。舍入对求解递归式通常没有影响，因此可以为递归式创建一颗递归树，其中已将渐近符号改写为隐含的常数系数 c>0

假定n是4的幂（可以忍受不精确），所有子树的规模均为正数。根节点的cn²项表示递归调用顶层的代价，根的三棵子树表示规模为 n/4 的子问题所产生的代价
在这里插入图片描述
子问题的规模每一步减少为上一步的1/4，所以最终必然会达到边界条件。深度为i的节点对应规模为 n/4ⁱ的子问题（每一层子问题规模都是上一层的1/4）。当 n/4ⁱ = 1时子问题规模变为1，因此递归树有log4n + 1层

对于树的每一层的代价。每层的结点数都是上层的3倍，深度为i的结点数为3ⁱ。深度为i的每个结点的代价为 c(n/4ⁱ)²。深度为i的每个结点的总代价为 3ⁱc(n/4)²=(3/16)ⁱcn²。树的最底层深度为在这里插入图片描述有个节点，每个结点的代价为 T(1)，总代价为，即
求所有层次的代价之和，确定整棵树的代价

再次利用一定程度的不精确，利用无限递减几何级数作为上界，回退一步

推导出了一个猜测 T(n) = O(n²)
实际上，如果 O(n²) 确实是递归式的上界，它必然是一个紧确界。第一次调用的代价是 Θ(n²) ，因此 Ω(n²) 必然是递归式的一个下界

现在用代入法验证猜测 T(n) = O(n²) 是递归式在这里插入图片描述的一个上界是正确的，希望证明 T(n) <= dn²对某个常数 d>0 成立。使用常数 c>0

当时，最后一步推导成立

3、更复杂的例子
在这里插入图片描述
上图显式了递归的递归树
求代价之和时，发现每层的代价均为 cn。从根到叶的最长简单路径是由于当因此树高为
直觉上期望递归式的解最多是层数乘以每层的代价，并不是递归树中每个层次的代价都是 cn。如果递归树是一棵高度为在这里插入图片描述的完全二叉树，则叶节点的数量应为。由于每个结点的代价为常数，叶节点代价的总和是Ω(n lgn)。但递归树并不是完全二叉树，叶节点的数量小于。当从根结点逐步往下走时，越来越多的内结点是缺失的。但是只是希望得到一个猜测用于代入法，还是忍受一些不精确，尝试证明猜测的上界 O(nlgn) 是正确的

用代入法验证 O(nlgn) 是递归式解的一个上界，来证明 T(n) <= dn lgn
在这里插入图片描述

只要

3.3 用主方法求解递归式

1、主成分为形如 T(n) = aT(n/b) + f(n) 提供了流程型的求解方法，其中 a>=1 和 b>1 是常数，f(n) 是渐近正函数
对于式子 T(n) = aT(n/b) + f(n) ：将规模为n的问题分解为 a个子问题，每个子问题规模为 n/b。a个子问题递归地进行求解，每个花费时间 T(n/b)，函数f(n)包含了问题分解和子问题解合并的代价

同时将 a 项 T(n/b) 都替换为 T(⌊n/b⌋) 或 T(⌈n/b⌉) 并不会影响递归式的渐近性质

2、主定理
在这里插入图片描述

直觉上，对于三种情况的每一种，将函数 f(n) 与函数 n^loga(b) 进行比较。两个函数的较大者决定了递归式的解。若函数n^loga(b)更大，如情况一，则解为。若函数f(n)更大，如情况三，则解为 T(n) = 。若两个函数大小相当，如情况二，则乘上一个对数因子，解为在这里插入图片描述
技术细节上，在第一种情况中，不是 f(n) 小于 n^logb(a)就够了，而是要多项式意义上的小于，也就是说，f(n) 必须渐近小于 n^logb(a)，要相差一个因子 n^ɛ，其中ɛ是大于0的常数。在第三种情况中，不是 f(n) 大于 n^logb(a)就够了，而是要在多项式意义上的大于，而且还要满足正则条件 af(n/b) <= cf(n)