MIT算法导论03-分治法

MIT算法导论03-分治法（Divide and Conquer）

课程名：Introduction to Algorithms
课程编号：6.046J/18.410J
授课教师：Prof.Erik Demame

---

分治法是本门课第一个算法设计方法
分治法将引出所有类型的递归。

分治法解决问题的步骤

1. Divide the problem (instance)
   into one ore more subproblems

2. Conquer each subproblem recursively

3. Combine solutions

应用实例

归并排序（merge sort）

时间复杂度
$T(n)=2T(n/2)+\Theta (n)$

二分查找（binary search）

递归式：$T(n)=T(n/2)+\Theta (1)$
时间复杂度
$T(n)=\Theta (lgn)$

乘方问题 Powering a number

given number x
integer $n\ge 0$ compute $x^n$
Naive algorithm $x\ast x\ast x\ast \cdots \ast x$
$T(n)=\Theta (n)$

$x^n=\{\begin{array}{cl}{x}^{n/2}\ast x^{n/2}& ifneven\\ x^{n-1}\ast x^{n-1}\ast x& ifnodd\end{array}$

$T(n)=T(n/2)+\Theta (1)=\Theta (lgn)$

斐波那契数列 Fibonacci numbers

• Naive recursive
  $F(n)=\{\begin{array}{ll}0& n=0\\ 1& n=1\\ F(n-2)+F(n-1)& n\ge 2\end{array}$

$T(n)=\Omega ({\phi }^n)$，其中$\phi =1.618$为黄金分割数.

任何以多项式级为上限的算法就是好算法。-Jack Edmonds

• bottom-up recursive algorithm
  compute $F_0,F_1,F_2,\cdots ,F_n$
  $T(n)=\Theta (n)$

• naive recursive squaring
  $F(n)={\phi }^n/\sqrt{5}$ rounded to nearest integer
  现实中这种方法不可用，因为，$\phi$和$\sqrt{5}$要用浮点数表示，算出来精确度会有损失。

实际上，在一台普通机器上，有些问题只能用指数时间的算法解决，而在一类理论机器上，可能可以在多项式时间内解决问题

• recursive squaring algorithm
  Theorem $\left[\begin{array}{cc}{F}_{n+1}& F_n\\ F_n& F_{n-1}\end{array}\right]={\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]}^n$

$T(n)=\Theta (lgn)$

proof: by induction on n
Base:$\left[\begin{array}{cc}{F}_2& F_1\\ F_1& F_0\end{array}\right]={\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]}^2$

Assume:$\left[\begin{array}{cc}{F}_n& F_{n-1}\\ F_{n-1}& F_{n-2}\end{array}\right]={\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]}^{n-1}$

Step: $\left[\begin{array}{cc}{F}_{n+1}& F_n\\ F_n& F_{n-1}\end{array}\right]={\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]}^{n-1}\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]={\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]}^n$

QED

矩阵乘法 Matrix multiplication

Input: $A=[a_{ij}],B=[b_{i}j]$
$i,j=1,2,\cdots ,n$
Output:$C=[c_{i}j]=AB$
$c_{ij}=\sum _{k=1}^n{a}_{ik}{b}_{kj}$

• Standard algorithms
  $T(n)=\Theta (n^3)$

for i=1 to n
do for j=1 to n
	c_ij=0
	do for k=1 to n
	do c_ij=c_ij+a_ik*b_kj

• Strassen’s algorithm

$T(n)=7T(n/2)+\Theta (n^2)=\Theta (n^{lg7})=O(n^2.81)$
尽管如此，这并不是最优算法，目前最优的算法大概是$\Theta (n^{2.376})$

理论上Strassen’s algorithm快了一些，但是并不切实际，不要用这个。

超大规模集成电路 VLSI layout

Problem: Embed a complete binary tree
on n-leaves, in a grid with minimum area
顶点要放在网格点上，边组成正交路线，不能相交。

• naive embedding
  
  
  $L(n)=2L(n/4)+\Theta (1)=\Theta (\sqrt{n})$, case 1