算法设计与分析(屈婉玲) Lesson 1 复杂度理论

一.算法及其时间复杂度

1.问题和实例

• 问题

  需要回答的一般性提问，通常包含若干参数

• 问题描述

  定义问题参数(集合，变量，函数，序列等)；说明每个参数的取值范围及参数之间的关系；定义问题的解；说明解满足的条件

• 问题实例

  参数的一组赋值可以得到问题的一个实例

2.算法

• 算法

  有限条指令的序列。这个指令序列确定了解决某个问题的一系列运算或者操作。

• 算法A解问题P

  把问题P的任何实例作为算法A的输入。每步计算是确定性的；A能够在有限步停机；输出该实例的正确的解。

3.基本运算与输入规模

• 基本运算

  比较，加法，乘法，置指针，交换等

  e.g.

  排序：元素之间的比较；

  检索：被检索元素x与数组元素之间的比较；

  整数乘法：每位数字相乘一次，m位和n位整数要做mn次位乘；

  图的遍历：置指针。

• 输入规模

  输入串编码长度。通常用数组元素多少，调度问题个数，图的顶点数与边数等衡量。

  e.g.

  排序：数组中元素的个数；

  检索：被检索数组的元素个数；

  整数乘法：两个整数的位数m,n；

  图的遍历：图的顶点数m，边数n。

• 算法的时间复杂度

  针对指定基本运算，计算算法所做的运算次数。

4.算法的两种时间复杂度

• 最坏情况下的时间复杂度-W(n) (worst)

  算法求解输入规模为n的实例所需要的最长时间

• 平均情况下的时间复杂度-A(n) (average)

  在给定同样规模为n的输入实例的概率分布后，算法求解这些实例所需要的平均时间

• A(n)计算公式: $$A(n)=\sum _{i\in S}{P}_i{t}_i$$

  其中S为规模为n的实例集，实例 i属于S的概率为$P_i$，算法对实例 i执行的基本运算次数为$t_i$

• e.g. 检索

  输入：非降序排列的数组L，元素数n，数x

  输出：j。若j出现在L中，j是首次出现的下标，否则j=0。

  基本运算：x与L中元素的比较

  a.顺序检索算法：

  最坏情况下的比较次数：n次

  平均比较次数：设x在L中的概率为P，且每个位置概率相等，则
  $$\begin{gathered} A(n)=\sum _{i=1}^{n}i\frac{p}{n}+(1-p)n \\ 其中i是出现的位置，\frac{p}{n}是相应位置的概率，(1-p)n是未找到的检索次数 \end{gathered}$$
  b.改进的顺序检索算法

  j=1，将x与L[j]比较。若x=L[j]，则算法停止，输出j；若x>L[j]，则把j加1，继续比较；若x<L[j]，停机并输出0

  最坏情况下的比较次数：n次

  平均比较次数：设x在L中的概率为P，且每个位置概率相等，则
  $$\begin{gathered} A(n)=\sum _{i=1}^{n}i\frac{p}{n}+(1-p)(\sum _{i=1}^{n}i\frac{1}{n+1}+n\frac{1}{n+1}) \\ 其中在数组中的检索与前面一致，不在数组中的检索需要分情况讨论。 \\ 分为x小于L中最大的元素值和x大于L中最大的元素值两种情况。 \end{gathered}$$

二.算法的伪码表示

1.伪码表示

赋值语句：<-

分支语句：if<条件>then<操作> else

循环语句：while<条件> do；for a<- <起始值> to<最终值> do

转向语句：goto

输出语句：return

用缩进表示嵌套关系

2.一些例子

• 求最大公约数

  算法：Euclid(m,n)

  输入：非负整数m，n，其中m，n不全为0

  输出：m，n的最大公约数

  while m>0 do
  	r<-n mod n
  	n<-m
  	m<-r
  return n
  

• 插入排序

  算法：InsertSort(A,n)

  输入：n个数的数组A[1…n]

  输出：按照递增顺序排好序的数组A

  for j<-2 to n do
  	x<-A[j]
  	i<-j-1
  	//把A[j]插入到A[1..j-1]中
  	while i>0 and x<A[j] do
  		A[i+1]<-A[i]
  		i<-i-1
  	A[i+1]<-x
  

三.函数的渐进的界

1.大O符号

设f,g是定义域为N的函数。若存在正整数c和$n_0$,使得对一切$n\ge n_0$，有$0\le f(n)\le cg(n)$,则称f(n)的渐进的上界是g(n),记做f(n) = O(g(n))。

• f(n) = O(g(n)),g(n)的阶大于等于f(n)的阶

2.大Ω符号

设f,g是定义域为N的函数。若存在正整数c和$n_0$,使得对一切$n\ge n_0$，有$0\le cg(n)\le f(n)$则称f(n)的渐进的下界是g(n),记做f(n) = Ω(g(n))。

• f(n) = Ω(g(n)),g(n)的阶小于等于f(n)的阶

3.小O符号

设f,g是定义域为N的函数。若存在正整数c和$n_0$,使得对一切$n\ge n_0$，有$0\le f(n)<cg(n)$,则称f(n)上界是g(n),记做f(n) = o(g(n))。

• f(n) = o(g(n)),g(n)的阶大于f(n)的阶

4.小ω符号

设f,g是定义域为N的函数。若存在正整数c和$n_0$,使得对一切$n\ge n_0$，有$0\le cg(n)<f(n)$,则称f(n)的下界是g(n),记做f(n) = ω(g(n))。

• f(n) = ω(g(n)),g(n)的阶小于f(n)的阶

5.Θ符号

若f(n) = O(g(n)) = Ω(g(n))，则记做f(n) = Θ(g(n))

• f(n) = Θ(g(n)),g(n)的阶等于f(n)的阶

四.有关函数渐进的界的定理

1.定理1

设f和g都是定义域为自然数集合的函数

（1）若$$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=c(c\in N)$$ 那么f(n) = Θ(g(n))

（2）若$$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=0$$，那么f(n) = o(g(n))

（3）若$$\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=+\infty$$，那么f(n) = ω(g(n))

• 证明：主观上可以从函数的阶的角度来理解。严格证明使用极限定义和几种函数符号的定义即可。

• e.g.

  设$f(n)=\frac{1}{2}{n}^2-3n$，证明f(n) = Θ($n^2$)
  $$证：\underset{n\to \infty }{\lim }\frac{f(n)}{n^2}=\frac{1}{2},根据定理1，有f(n)=\Theta (n^2)$$

• 一些重要结果

  a.多项式函数的阶低于指数函数的阶，即$n^d=o(r^n)$

  b.对数函数的阶低于多项式函数的阶，即$\ln n=o(n^d)$
  $$\begin{array}{r}证明:a.\underset{n\to \infty }{\lim }\frac{n^d}{r^n}=0\\ b.\underset{n\to \infty }{\lim }\frac{\ln n}{n^d}=0\end{array}$$

2.定理2

函数的阶之间的关系具有传递性:

(1)若f = O(g),g = O(h)，则f = O(h)

(2)若f = Ω(g),g = Ω(h)，则f = Ω(h)

(3)若f = Θ(g),g = Θ(h)，则f = Θ(h)

3.定理3

假设函数f和g的定义域为自然数集，若对某个其他函数h，有f = O(h),g = O(h),则f + g = O(h)。

• 因此，若算法由有限步骤组成，若每一步的时间复杂度都为O(h)，那么该算法的时间复杂度可以写为O(h).

五.几类重要的函数

1.基本函数类

• 按照阶的高低排序：指数级($2^n$$,n!..)；多项式级(n,$n^2$,$$n\log n$,$n^{\frac{1}{2}}$$)；对数级($$\log n$,${\log }^{2}n$,$\log \log n$)

2.对数函数

• 符号：$\log n={\log }_{2}n$$；$$\log \log n=\log (\log n)$

• 性质

  a. $\log n=\Theta ({\log }_{l}n)$，即对数式的阶与底数无关

  b. ${\log }_{b}n=o(n^{\alpha })$，即对数式的阶数小于多项式的阶数

  c. $$a^{{\log }_{b}n}=n^{{\log }_{b}a}$$
  $$\begin{gathered} 证:a.因为\log n=\frac{{\log }_{l}n}{{\log }_{l}2} \\ 故\underset{n\to \infty }{\lim }\frac{\log n}{{\log }_{l}n}=\underset{n\to \infty }{\lim }\frac{{\log }_{l}n}{{\log }_{l}2{\log }_{l}n}=\frac{1}{{\log }_{l}n} \\ b.易知\underset{n\to \infty }{\lim }\frac{{\log }_{b}n}{n^{\alpha }}=0 \\ c.a^{{\log }_{b}n}=n^{{\log }_{b}a},方程两侧取对数得 \\ \log a{\log }_{b}n=\log n{\log }_{b}a,易知二者相等(换底公式) \end{gathered}$$

3.指数函数

• n! = o($n^n$) = ω($2^n$)

• $\log (n!)$ = Θ($n\log n$)

  结论1的证明由Stirling公式直接得到；结论2的证明可以由微积分计算函数图像面积，从而得到。

4.取整函数

$\lceil x\rceil$：上取整 ( $e.g.\lceil 2.6\rceil =3$)

$\lfloor x\rfloor$：下取整 ( $e.g.\lfloor 2.6\rfloor =2$)

• 取整函数的性质

  a. $x-1<\lfloor x\rfloor \le x\le \lceil x\rceil <x+1$

  b. $若n\in Z,则\lceil x+n\rceil =\lceil x\rceil +n;\lfloor x+n\rfloor =\lfloor x\rfloor +n$

  c. $\lceil \frac{n}{2}\rceil +\lfloor \frac{n}{2}\rfloor =n$

  d. $\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor =\lfloor \frac{n}{ab}\rfloor$；$\lceil \frac{\lceil \frac{n}{a}\rceil }{b}\rceil =\lceil \frac{n}{ab}\rceil$

六.习题

假设f和g是定义在自然数集合上的函数，若对某个函数h有f = O(h)以及g = O(h)成立，证明f+g = O(h)

证明$\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor =\lfloor \frac{n}{ab}\rfloor$和$\lceil \frac{\lceil \frac{n}{a}\rceil }{b}\rceil =\lceil \frac{n}{ab}\rceil$

对于下面的每个函数，用Θ符号表示成f = Θ(g(n))的形式，其中g(n)要尽可能简洁。比如$f(n)=n^2+2n+3$要写成$f(n)=\Theta (n^2)$的形式。然后按照递增的顺序对这些函数进行排序：

$(n-2)!、5\log (n+100{)}^{10}、2^{2n}、0.0001n^4+3n^3+1、(\ln n{)}^2、n^{\frac{1}{3}}+\log n、3^n、\log (n!)、\log (n^{n+1})、1+\frac{1}{2}+\cdots +\frac{1}{n}$

---

参考答案(答案为笔者自己所做，限于水平，其中存在错误在所难免，欢迎大家指正)

思路：用定义证明

大O符号的定义为：设f,g是定义域为N的函数。若存在正整数c和$n_0$,使得对一切$n\ge n_0$，有$0\le f(n)\le cg(n)$,则称f(n)的渐进的上界是g(n),记做f(n) = O(g(n))。

故当$n>n_0$时，存在正整数$c$，使得$0\le f(n)\le ch(n)$ ；

当$n>n_1$，存在正整数$c^{\prime }$ ，$0\le g(n)\le c^{\prime }h(n)$ 。

将上述两式相加，当n>max{$n_0,n_1$}时，有$0\le f(n)+g(n)\le (c+c^{\prime })h(n)$，故f+g = O(h)。

思路：取整函数的性质a，层层去除取整符号
$$\begin{gathered} 证明\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor =\lfloor \frac{n}{ab}\rfloor : \\ \frac{n}{a}-1<\lfloor \frac{n}{a}\rfloor \le \frac{n}{a} \\ \frac{\lfloor \frac{n}{a}\rfloor }{b}-1<\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor \le \frac{\lfloor \frac{n}{a}\rfloor }{b} \\ \frac{\frac{n}{a}-1}{b}-1<\frac{\lfloor \frac{n}{a}\rfloor }{b}-1<\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor \le \frac{\lfloor \frac{n}{a}\rfloor }{b}\le \frac{n}{a}\frac{1}{b} \\ \frac{\frac{n}{a}-1}{b}-1<\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor \le \frac{n}{a}\frac{1}{b} \\ \frac{n-a}{ab}-1<\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor \le \frac{n}{ab} \\ \frac{n}{ab}-1<\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor \le \frac{n}{ab} \\ 故由性质a得\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor =\lfloor \frac{n}{ab}\rfloor \\ 上取整同理。 \end{gathered}$$
3.
$$\begin{array}{rl}& (1)(n-2)!=\Theta (n!)\\ & (2)5\log (n+100{)}^{10}=\Theta (\log n)\\ & (3)2^{2n}=\Theta (4^n)\\ & (4)0.0001n^4+3n^3+1=\Theta (n^4)\\ & (5)(\ln n{)}^2=\Theta ({\log }^{2}n)\\ & (6)n^{\frac{1}{3}}+\log n=\Theta (n^{\frac{1}{3}})\\ & (7)3^n=\Theta (3^n)\\ & (8)\log (n!)=\Theta (n\log n)\\ & (9)\log (n^{n+1})=\Theta (nlogn)(对数加法公式)\\ & (10)1+\frac{1}{2}+\cdots +\frac{1}{n}=\ln (n+1)+\gamma \\ & (调和级数求和公式,\gamma 为欧拉常数)\\ & =\Theta (\log n)\end{array}$$
因此，以序号排列，阶数从小到大依次为(10)=(2),(5),(6),(8)=(9),(4),(7),(3),(1)