INF421 - Amphi 2 Divide and Conquer

0.Quizz回顾

在数组中同时寻找最大和最小元素

1. 将n个元素两两分为一组，一组有两个元素，一共有$\frac{n}{2}$组
2. 将每组中的元素按从小到达排序。$\lfloor \frac{n}{2}\rfloor$次比较。
3. 在最小的元素中寻找最小的元素，$\lceil \frac{n}{2}\rceil -1$次比较
4. 在最大的元素中寻找最小的元素，$\lceil \frac{n}{2}\rceil -1$次比较。
   所以一共要$\lceil 3\ast \frac{n}{2}\rceil -2$次比较。

Big-Oh Notation (Landau Symbols)

定义：
f,g real function
$f=O(g)$意味着$\exists M,x_0\in \mathbb{R}\text{ 使得 }|f(x)|\le M|g(x)|\forall x\ge x_0$

注意：

1. $=$不是symmetric的，因为$2n=O(n),3n=O(n)$不能推出$2n=3n$。

其他的：
$f=\Omega (g):=\iff g=O(f)$
$f=\Theta (g):=\iff f=O(g)\wedge f=\Omega (g)$
$f=o(g):=\iff \forall ϵ>0\exists x_0\in \mathbb{R}\forall x\ge x_0:|f(x)|\le ϵ\ast |g(x)|$
$f=w(g):=\iff g=o(f)$

1. Introduction to Divide and Conquer

基本思路：

1. 将对于n的问题变成independent的n/2问题
2. solve n/2的问题（recursively）
3. merge两个n/2的结果

Mergesort

目的：对a[0…n]进行排序
Sol：

1. if(n==1) return a
2. split $b:=a[0,\dots ,\lceil \frac{n}{2}\rceil -1]$,$c:=a[\lceil \frac{n}{2}\rceil ,\dots ,n-1]$
3. Recursion: Mergesort(b),Mergesort(a)
4. Merge(可以用Recursive的方式实现)

Analysis of MergeSort (对Recursive algs的分析)

Termination：[Induction]

1. 用第二数学归纳法假设对$\forall k<n$的数组用Mergesort都Terminate。
2. 则Mergesort(a[n])调用的$a[0,\dots ,\lceil \frac{n}{2}\rceil -1,a[\lceil \frac{n}{2}\rceil ,\dots ,n-1]$ Terminates
3. 最后的Merge Terminates，因为我们用Recursive的方法写，每次都会减少一个元素。

Correctness：[Induction]

1. 用第二数学归纳法假设对$\forall k<n$的数组用Mergesort都Corrcet。
2. 则Mergesort(a[n])调用的$a[0,\dots ,\lceil \frac{n}{2}\rceil -1,a[\lceil \frac{n}{2}\rceil ,\dots ,n-1]$ Corrcet.
3. 最后的Merge根据我们的做法可以保证顺序，所以Correct

Complexity: [看递推式]
看比较次数，这里的$\ge$是因为我们在merge的过程中，最坏的情况是比较n-1次。
$T(n)\le T(\lceil \frac{n}{2}\rceil )+T(\lfloor \frac{n}{2}\rfloor )+n-1$
$T(1)=0$

求解Reccurence 的方法1:Guess & Check

• Guess
  $$\begin{array}{rl}T(n)& \le 2\ast T(\frac{n}{2})+n\\ & \le n\ast T(1)+lo{g}_2(n)\ast n\end{array}$$

• Check
  根据上面的式子，我们猜测$T(n)\le U(n):=n\lceil lo{g}_2(n)\rceil$（因为$lo{g}_2(n)$不行）
  下用数学归纳法给出证明

1. $n=1$时，$T(1)=0$，所以成立。
2. 假设猜测对于任意$k<n$都成立
3. 此时
   $$\begin{array}{rl}T(n)& \le T(\lceil \frac{n}{2}\rceil )+T(\lfloor \frac{n}{2}\rfloor )+n\\ & \le \lceil \frac{n}{2}\rceil \lceil lo{g}_2\lceil \frac{n}{2}\rceil \rceil +\lfloor \frac{n}{2}\rfloor \lceil lo{g}_2(\lfloor \frac{n}{2}\rfloor )\rceil +n\\ & \le n+n\lceil lo{g}_2(n/2)\rceil \\ & \le n\lceil lo{g}_2(n)\rceil \end{array}$$

用到了
$\lceil lo{g}_2\lceil \frac{n}{2}\rceil \rceil =\lceil lo{g}_2\frac{n}{2}\rceil$ 🌟

2. 🌟Master Theorem

我们将一个大小为n的问题分为a个大小为$\frac{n}{b}$的子问题。
具体来说，

• $a\in {\mathbb{N}}_{\ge 1},K\in {\mathbb{N}}_{\ge 1},b\in {\mathbb{R}}_{>1},d\in {\mathbb{R}}_{>0}$
• Base case：解决一个size为1的case所需要的时间为K
• Recursion:
  • 我们递归解决$a$个子问题
  • 每个子问题的大小为$\frac{n}{b}$
• 将解合并在一起需要的复杂度为$\Theta (n^d)$

例如，对于MergeSort而言，我们每次分成$a=2$个大小为$\frac{n}{2}$即$b=2$的子问题，base case的复杂度为$K=0$，Merge的复杂度为$\Theta (n)$。

Recursion Tree

🌟 用上了$lo{g}_b(n)lo{g}_n(a)=lo{g}_b(a)$，所以有$a^l=a^{lo{g}_b(n)}=n^{lo{g}_b(a)}=n^c$

[回顾] 等比数列
这里我们关心的是asymptotique的结果

• $q>1:{\sum }_{i=0}^{k-1}{q}^i=\Theta (q^{k-1})$
• $q=1:{\sum }_{i=0}^{k-1}{q}^i=k$
• $q<1:{\sum }_{i=0}^{k-1}{q}^i=\Theta (q^0)=\Theta (1)$

回到我们的Recursion Tree

Rq:

1. 以上分析对于n不是b的次数也成立
2. 以上分析对于Stop the recursion earlier than at problem size 1也成立

Master Theorem❓

3. 例子：大数乘法与Karatsuba’s Trick

我们目前已经证明了Divide and Conquer原则上怎么可以运作，但是我们并不知道怎么设计一个Divide and Conquer的算法，为此，我们研究三个问题：

• Fast Multiplication of Large Numbers
  • 这个问题的难点在于如何在子问题做到比Naive更好
• Closet pair of points
  • 这个问题的难点是如何构建Recursion，即如何merge两个不同的解
• Selection

3.1 Multiplying Large Numbers

问题：

• $x=(x_{n-1}{x}_{n-2}\dots x_0{)}_B={\sum }_{i=0}^{n-1}{x}_i{B}^i$
• $y=(y_{n-1}{y}_{n-2}\dots y_0{)}_B={\sum }_{i=0}^{n-1}{y}_i{B}^i$
• 求x*y

Naive Solution： $\Theta (n^2)$

• 因为$xy={\sum }_{i=0}^{n-1}{\sum }_{j=0}^{n-1}{x}_i{y}_j{B}^{i+j}$

• Naive Divide and Conquer：$\Theta (n^2)$

• Divide
  假设n是偶数，令$m=n/2$
  $x=x_b{B}^m+x_a$, $x_b=(x_{n-1}{x}_{n-2}\dots x_m{)}_B,x_a=(x_{m-1}{x}_{n-2}\dots x_0{)}_B$
  $y=y_b{B}^m+y_a$, $y_b=(y_{n-1}{y}_{n-2}\dots y_m{)}_B,y_a=(y_{m-1}{y}_{n-2}\dots y_0{)}_B$

• Recurse
  运用递归计算$x_b{y}_b,x_a{y}_b,x_b{y}_a,x_a{y}_a$这四个大数的乘法
  所以$a=4,b=2$

• Merge
  $xy=x_b{y}_b{B}^{2m}+(x_a{y}_b+x_b{y}_a)B^m+x_a{y}_a$

• 分析
  运用Master Theorem知$a=4,b=2,d=1$，因为$\frac{a}{b^d}>1$，所以复杂度为$O(n^c)=O(n^{lo{g}_b(a)})=O(n^2)$

Karatsuba：$\Theta (n^{lo{g}_2(3)})$

• Divide
  假设n是偶数，令$m=n/2$
  $x=x_b{B}^m+x_a$, $x_b=(x_{n-1}{x}_{n-2}\dots x_m{)}_B,x_a=(x_{m-1}{x}_{n-2}\dots x_0{)}_B$
  $y=y_b{B}^m+y_a$, $y_b=(y_{n-1}{y}_{n-2}\dots y_m{)}_B,y_a=(y_{m-1}{y}_{n-2}\dots y_0{)}_B$
• Recurse:
  计算$x_b{y}_b,x_a{y}_a,(x_a+x_b)(y_a+y_b)$
• Merge
  $xy=x_b{y}_b{B}^{2m}+((x_a+x_b)(y_a+y_b)-x_b{y}_b-x_a{y}_b)B^m+x_a{y}_a$
• 分析
  运用Master Theorem知$a=3,b=2,d=1$，因为$\frac{a}{b^d}>1$，所以复杂度为$O(n^c)=O(n^{lo{g}_b(a)})=O(n^{lo{g}_2(3)})$

3.2 Closet pair of points O(nlogn) [Poly]

问题描述：
在一个平面上给定$n$个点$p_i=(x_i,y_i)$，目的是找到两个点$p_i,p_j$它们两个之间的欧几里得距离最短。

解法1:暴力配对

此时时间复杂度为$O(n^2)$

3.3 Computing the Median[Selection Problem]

定义：

• 第k小的元素：
  一个元素a[i]被称为第k小的元素，如果存在 J ⊆ [ n ] : = { 1 , 2 , … , n } J\subseteq [n]:=\{1,2,\dots,n\} J⊆[n]:={1,2,…,n}使得
  ∣ J ∣ = k − 1 ∀ j ∈ J : a [ j ] ≤ a [ i ] ∀ j ∈ [ n ] ∖ ( J ∪ { i } ) : a [ j ] ≥ a [ i ] \begin{aligned} |J| & = k-1 \\ \forall j \in J &: a[j] \leq a[i] \\ \forall j \in [n]\setminus(J\cup \{i\}) &: a[j] \geq a[i] \\ \end{aligned} ∣J∣∀j∈J∀j∈[n]∖(J∪{i})​=k−1:a[j]≤a[i]:a[j]≥a[i]​
• rank：如果a中都是distinct的元素，则每一个元素$a[i]$都对应一个k，意味着它是第k小的元素，则k被称为它的rank。

Selection 问题表述：
求一个数组a中的第k小的元素。
特别的，如果数组下标从1开始，则$k=\lceil \frac{n}{2}\rceil$对应着求中位数的问题。[对于偶数，有时候我们定义中间两数字的平均值为median]

解法1：Selection via Sorting

Selection via Sorting：$\Theta (nlogn)$

Rq:

1. 在要多次求不同k小的元素的问题中，这个方法刚好
2. 但是当n比较大，如果没有$log(n)$会更好。

解法2：Naive Divide and Conquer

Divide and Conquer：

• Divide:
  将a分成b和c两个部分，b中所有的元素都小于等于c中所有元素。
  我们可以用pivot a[p]来实现：左边的b全部严格小于a[p]，中间的元素等于a[p]，右边的元素严格大于a[p]。
• Recurse:
  • 如果b中有大于等于k个元素，则在b中寻找第k大的元素。Select(b,k) [下面的伪代码中分出了a[p]恰好为第k小的情况]
  • 反之，我们在c中寻找第(k-len(b)) 大的元素。Select(a,k-len(b))

分析：

对于任意一种选择pivot p的方式

1. Select(a,k) terminates
2. 最多用O(n^2) comparaisons
3. Is correct

Dem:

• Termination：🌟
  The recursive call terminates by inuction (对于Select(a,k)中a的长度运用归纳法), the rest terminates trivally
• Correctness：
  By induction
• Runtime:
  $T(n)\le n-1+T(n-1),T(1)=0$我们可以用Guess&Check证明$U(n)=0+1+\cdots +(n-1)=O(n^2)$是$T(n)$的一个Upper Bound

因此我们需要一种更好地找到pivot P的方法，一种最好的想法就是找到最中间的元素，但可惜我们的目的就是求Median。
Sol: Median-of-Medians

Median-of-Medians：更好的pivot

基本想法：

• 将a，5个一组，分成$\lfloor \frac{n}{5}\rfloor$组。
• 每组中花$K=6$次比较找到每组中的中位数
• 通过递归找到这$\lfloor \frac{n}{5}\rfloor$个中位数中的中位数(Median of these medians, MoM)并用它作为pivot。

示例（这里我们为了方便演示每列大小顺序都拍好了，横向也排好了，红色的是中位数，5*20）

关于MoM的rank k的Lemma:

The MoM has a rank k with $0.3n-1.2\le k\le 0.7n-0.3$
这里我们可以发现k已经很靠中间了。

构造运用MoM的Selection Algo的复杂度递推式

求解递推式

这里T(n)应该代表从n个元素中找到中位数的开销，$n-1$是因为我们要根据pivot得到b和c。

结果：

The MoM algorithm solves the selection problem with O(n) comparisons.

一些改进和Stronger Bounds

首先我们可以对我们的方法进行更细致的分析

• 如K=6
  
• $T(n)\le T(0.2n)+T(0.7n)+2.2n$，因此$T(n)\le 22n$ （见Poly）
• 因此当$22\le lo{g}_2(n)$即$n\ge 2^{22}$时，MoM比sorting更好。

其他人的工作：

4. Lower Bounds

目的：

证明没有一个Algorithm能在worst case下有一个比$\Omega (...)$更好的表现。
这个问题至少需要多少的复杂度才能解决

3 ways to show bounds

“Reading the Input” Lower Bound

每一个算法都至少需要读入数据。

例子：两个n*n的矩阵乘法$\Omega (n^2)$

证明Selection Problem的Lower Bound为$\Omega (n)$

🌟这类的证明思路基本是

1. 假设一个算法可以用少于N次就可以完成任务，因此可以找到一个元素$a[i]$没有在这个算法中读取
2. 通过对$a[i]$进行改变得到两个不同的问题（它们答案也不同），鉴于算法只读取了n-1个元素的数据，所以这个算法对两个不同问题都有相同的答案 -> Absurde

Information-theoretic Lower Bound

如果一个问题有N个possible solutions，算法的每一步最多有k个结果（信息），则$lo{g}_{k}N$是lower bound。[可以用树来思考]

例子：Sorting an array of length n via comparaison-based algorithms:

• 长度为n的array一共有n!种排列方式
• 每一种排列方式只有2种结果
• 所以要知道所有的可能性，需要用$lo{g}_{2}n!\ge nlo{g}_2(n)-nlo{g}_2(e)+0.5lo{g}_2(2\ast \pi \ast n)$
• 最后一步用上了🌟斯特林公式：$n!\approx \sqrt{2\pi n}{\left(\frac{n}{e}\right)}^n.$
  Rq:
  这个Lower Bound并不是很紧，因为对于13个元素，我们需要34次比较，但是$\lceil lo{g}_2(13)\rceil =13$

Lower Bound for Sorting 正式证明：

依旧延续之前的思路，
假设可以比这个Lower Bound少一次，则可以找到两个不同的输入使得他们经过这个算法最后得到的结果是相同的，矛盾。

Custom-Tailored Lower Bounds

这里我们需要结合具体问题的性质。

例子：Merge操作

• Reading the input argument：鉴于我们需要读取所有的数据，所以O(2n)
• Information-theoretic argument：
  • $\left(\genfrac{}{}{0ex}{}{2n}{n}\right)=\Theta (2^{2n}{n}^{-1/2})$
  • 2 results per comparaison (如果比较的两个元素不同的话)
  • 最少需要$lo{g}_2((\genfrac{}{}{0ex}{}{2n}{n}))=2n-0.5\ast lo{g}_2(n)-O(1)$次比较

证明：

依旧使用反证法，假设我们的算法还可以再快一点，然后修改某一个没有被看到的数据，两个不同输入->同样的输出->导致矛盾。

Hot Topic: Conditional Lower Bounds

例子 Longest Common Subsequence [我们只有Conditional Lower Bounds]
如，如果我们可以用$O(n^{2-ϵ})$解决LCS问题，则我们可以用$O(2^{(1-ϵ)n})$的时间解决这个问题。