算法设计与分析 (一)：算法的基本概念、函数的渐近的界

本文为 MOOC 算法设计与分析 的学习笔记

算法设计的例子

投资问题

• $m$ 元钱，投资 $n$ 个项目. 效益函数 $f_i(x)$，表示第 $i$ 个项目投 $x$ 元的效益，$i=1,2,\dots ,n$. 求如何分配每个项目的钱数使得总效益最大？
  • 实例：5 万元，投资给 4 个项目，效益函数：
    

问题建模

• 输入：$n,m,f_i(x),i=1,2,...,n,x=1,2,...,m$
• 解： $n$ 维向量 $<x_1,x_2,\dots ,x_n>$, $x_i$ 是第 $i$ 个项目的钱数，使得下述条件满足：
  

设计算法

蛮力算法

• 对所有满足下述条件的向量 $<x_1,x_2,\dots ,x_n>$
  $x_1+x_2+\dots +x_n=m$，$x_i$ 为非负整数, $i=1,2,...,n$
• 计算相应的效益 $f_1(x_1)+f_2(x_2)+\dots +f_n(x_n)$，从中确认效益最大的向量

---

正确性分析

• 该算法显然可以求出最优解

算法效率分析

• 下面对方程 $x_1+x_2+\dots +x_n=m$ 的非负整数解 $<x_1,x_2,\dots ,x_n>$ 的个数进行估计：
  • 可行解表示成 $0-1$ 序列：$m$ 个 $1$, $n-1$ 个 $0$
    
    • 例如，$n=4,m=7$，可行解 $<1,2,3,1>$ 对应的序列为 $1011011101$
  • 因此，非负整数解个数为 $C_{m+n-1}^m=\frac{(m+n-1)!}{m!(n-1)!}=\Theta ((1+\epsilon {)}^{m+n-1})$，序列个数是输入规模的指数函数 (可以代入 Stirling 公式进行证明)

货郎问题 与 NP-hard 问题

货郎问题

• 有 $n$ 个城市，已知任两个城市之间的距离. 求一条每个城市恰好经过 1 次的回路，使得总长度最小. (最短哈密顿回路)
  

建模：

• 输入：有穷个城市的集合 C = { c 1 , c 2 , … , c n } C = \{ c_1, c_2, …, c_n\} C={c1​,c2​,…,cn​}, 距离 $d(c_i,c_j)=d(c_j,c_i)\in Z^{+}$, $1\le i<j\le n$
• 解：$1,2\dots ,n$ 的排列 $k_1,k_2,\dots ,k_n$ 使得：
  

设计算法

• 对于货郎问题，至今还未找到比蛮力算法有着本质改进的高效算法 (指算法的时间复杂度由指数函数降为多项式函数)

---

NP-hard 问题

• 至今没找到比蛮力算法有着本质改进的高效算法 (指算法的时间复杂度由指数函数降为多项式函数)
  • 货郎问题也属于 NP-hard 问题
• 至今没有人能够证明对于这类问题不存在多项式时间的算法 ( $\mathbf{P}=\mathbf{N}\mathbf{P}?$ 问题 )
• 从是否存在多项式时间算法的角度看，这些问题彼此是等价的. 这些问题的难度处于可有效计算的边界

算法及其时间复杂度

时间复杂度定义

• 算法时间复杂度: 针对指定基本运算, 计数算法所做运算次数。下面给出基本运算的一些示例：
  • 排序: 元素之间的比较
  • 检索: 被检索元素 $x$ 与数组元素的比较
  • 整数乘法: 每位数字相乘 (位乘) 1 次；$m$ 位和 $n$ 位整数相乘要做 $mn$ 次位乘
  • 矩阵相乘: 每对元素乘 1 次；$i\times j$ 矩阵与 $j\times k$ 矩阵相乘要做 $ijk$ 次乘法
  • 图的遍历: 置指针
  • …
• 输入规模：通常用下述参数度量：
  • 排序：数组中元素个数 $n$
  • 检索：被检索数组的元素个数 $n$
  • 整数乘法：两个整数的位数 $m,n$
  • 矩阵相乘：矩阵的行列数 $i,j,k$
  • 图的遍历：图的顶点数 $n$, 边数 $m$
  • …
• 算法基本运算次数可表示为输入规模的函数。因此 算法时间复杂度可表示为输入规模的函数 $T(n)$

---

• 补充：给定问题和基本运算就决定了一个算法类
  • 例如，给定排序问题和比较运算，就可以确定一个算法类。可以证明基于关键字比较的排序问题算法类在最坏情况下的最好时间复杂度为 $O(n\log n)$

算法的两种时间复杂度

对于相同输入规模 $n$ 的不同实例，算法的基本运算次数也不一样，可定义两种时间复杂度

• 最坏情况下的时间复杂度 $W(n)$：算法求解输入规模为 $n$ 的实例所需要的最长时间
• 平均情况下的时间复杂度 $A(n)$：在给定同样规模为 $n$ 的输入实例的概率分布下，算法求解这些实例所需要的平均时间
  • 设 $S$ 是输入规模为 $n$ 的实例集；实例 $I\in S$ 的概率是 $P_I$；算法对实例 $I$ 执行的基本运算次数是 $t_I$
    $$A(n)=\sum _{I\in S}{P}_I{t}_I$$

函数的渐近的界

$O,\Omega ,o,\omega ,\Theta$ 符号

大 $O$ 符号

• 定义：设 $f$ 和 $g$ 是定义域为自然数集 $N$ 上的函数. 若存在正数 $c$ 和 $n_0$，使得对一切 $n\ge n_0$ 有 (我们只关注非常大的 $n$)
  $$0\le f(n)\le cg(n)$$成立, 则称 $f(n)$ 的 渐近的上界 是 $g(n)$， 记作
  $$f(n)=O(g(n))$$
• 若 $f(n)=O(g(n))$ ，则 $f(n)$ 的阶不高于 $g(n)$ 的阶
• 常函数可以写作 $O(1)$

例
设 $f(n)=n^2+n$，则

• $f(n)=O(n^2)$，取 $c=2，n_0=1$ 即可
• $f(n)=O(n^3)$，取 $c=1，n_0=2$ 即可

---

大 $\Omega$ 符号

• 定义：设 $f$ 和 $g$ 是定义域为自然数集 $N$ 上的函数. 若存在正数 $c$ 和 $n_0$，使得对一切 $n\ge n_0$ 有
  $$0\le cg(n)\le f(n)$$成立, 则称 $f(n)$ 的 渐近的下界 是 $g(n)$， 记作
  $$f(n)=\Omega (g(n))$$
• 若 $f(n)=\Omega (g(n))$，则 $f(n)$ 的阶不低于 $g(n)$ 的阶.

例
设 $f(n)=n^2+n$，则

• $f(n)=\Omega (n^2)$，取 $c=1，n_0=1$ 即可
• $f(n)=\Omega (100n)$，取 $c=1/100，n_0=1$ 即可

---

小 o 符号

• 定义：设 $f$ 和 $g$ 是定义域为自然数集 $N$ 上的函数. 若对于任意正数 $c$ 都存在 $n_0$，使得对一切 $n\ge n_0$ 有
  $$0\le f(n)<cg(n)$$成立, 则记作
  $$f(n)=o(g(n))$$
• 若 $f(n)=o(g(n))$，则 $f(n)$ 的阶低于 $g(n)$ 的阶.
• 对不同正数 $c,n_0$ 不一样. $c$ 越小 $n_0$ 越大.

例
设 $f(n)=n^2+n$，则 $f(n)=o(n^3)$

• $c\ge 1$ 显然成立
• 任取 $1>c>0$，取 $n_0>\lceil 2/c\rceil$ 即可. 因为
  $$\begin{array}{rl}& cn\ge c{n}_0>2(当n\ge n_0)\\ & n^2+n<2n^2<c{n}^3\end{array}$$

---

小 $\omega$ 符号

• 定义：设 $f$ 和 $g$ 是定义域为自然数集 $N$ 上的函数. 若对于任意正数 $c$ 都存在 $n_0$，使得对一切 $n\ge n_0$ 有
  $$0\le cg(n)<f(n)$$成立, 则记作
  $$f(n)=\omega (g(n))$$
• 若 $f(n)=\omega (g(n))$，则 $f(n)$ 的阶高于 $g(n)$ 的阶.
• 对不同正数 $c,n_0$ 不一样. $c$ 越大 $n_0$ 越大.

例
设 $f(n)=n^2+n$，则 $f(n)=\omega (n)$

---

$\Theta$ 符号

• 若 $f(n)=O(g(n))$ 且 $f(n)=\Omega (g(n))$ 成立, 则称 $f(n)$ 的 渐近的紧的界 是 $g(n)$，记作
  $$f(n)=\Theta (g(n))$$
• $f(n)$ 的阶与 $g(n)$ 的阶相等

例
$f(n)=n^2+n,g(n)=100n^2$，那么有 $f(n)=\Theta (g(n))$

---

例：素数测试

问题：

• 若 $n^{1/2}$ 可在 $O(1)$ 计算, 基本运算是整除, 以下表示是否正确？
  (1) $W(n)=O(n^{1/2})$
  (2) $W(n)=\Theta (n^{1/2})$

解

• (1) 对于任何输入实例 $n$，循环内执行整除的次数都不超过 $n^{1/2}$ 次，因此 $W(n)=O(n^{1/2})$
• (2) 对于输入实例 $n$ 为偶数的情况，循环内执行整除的次数为 1 次，$W(n)=\Theta (1)$，因此 (2) 错误

有关函数渐近的界的定理

定理 1
设 $f$ 和 $g$ 是定义域为自然数集合的函数.

• (1) 如果 $li{m}_{n\to \infty }\frac{f(n)}{g(n)}=c$，$c>0$ 且 为常数，则 $f(n)=\Theta (g(n))$
• (2) 如果 $li{m}_{n\to \infty }\frac{f(n)}{g(n)}=0$，则 $f(n)=o(g(n))$
• (3) 如果 $li{m}_{n\to \infty }\frac{f(n)}{g(n)}=\infty$，$c>0$ 且 为常数，则 $f(n)=\omega (g(n))$

证明
(1)

• 根据极限定义，对于给定正数 $\epsilon$ 存在某个 $n_0$，只要 $n\ge n_0$，就有 $|\frac{f(n)}{g(n)}-c|<\epsilon$，所以 $c-\epsilon <\frac{f(n)}{g(n)}<c+\epsilon$
• 取 $\epsilon =c/2$，有 $c/2<\frac{f(n)}{g(n)}<3c/2<2c$；因此 $f(n)\le 2cg(n)$，$f(n)\ge (c/2)g(n)$；于是 $f(n)=O(g(n))=\Omega (g(n))=\Theta (g(n))$

---

估计函数的阶

例1
设 $f(n)=\frac{1}{2}{n}^2-3n$，证明 $f(n)=\Theta (n^2)$
解
$$li{m}_{n\to \infty }\frac{\frac{1}{2}{n}^2-3n}{n^2}=\frac{1}{2}$$

例2
证明：多项式函数的阶低于指数函数的阶
$$n^d=o(r^n)，r>1，d>0$$解
不妨设 $d$ 为正整数，
$$\begin{gathered} li{m}_{n\to \infty }\frac{n^d}{r^n}=li{m}_{n\to \infty }\frac{d{n}^{d-1}}{r^{n}lnr}=li{m}_{n\to \infty }\frac{d^2{n}^{d-2}}{r^n(lnr{)}^2} \\ =...=li{m}_{n\to \infty }\frac{d^d}{r^n(lnr{)}^d}=0 \end{gathered}$$

例3
证明：对数函数的阶低于幂函数的阶
$$lnn=o(n^d)，d>0$$解
$$li{m}_{n\to \infty }\frac{lnn}{n^d}=li{m}_{n\to \infty }\frac{\frac{1}{n}}{d{n}^{d-1}}=li{m}_{n\to \infty }\frac{1}{d{n}^d}=0$$

---

定理 2
设函数 $f,g,h$ 的定义域为自然数集合，

• (1) 如果 $f=O(g)$ 且 $g=O(h)$，那么 $f=O(h)$
• (2) 如果 $f=\Omega (g)$ 且 $g=\Omega (h)$，那么 $f=\Omega (h)$
• (3) 如果 $f=\Theta (g)$ 和 $g=\Theta (h)$，那么 $f=\Theta (h)$
• 函数的阶之间的关系具有传递性，因此可以方便地建立一系列函数的阶的排列顺序

例
按照阶从高到低排序以下函数：
$$\begin{gathered} f(n)=(n^2+n)/2，g(n)=10n \\ h(n)=1.5^n，t(n)=n^{1/2} \end{gathered}$$解
$$h(n)=\omega (f(n)),f(n)=\omega (g(n)),g(n)=\omega (t(n)),$$因此排序：$h(n),f(n),g(n),t(n)$

---

定理 3

• 假设函数 $f$ 和 $g$ 的定义域为自然数集，若对某个其它函数 $h$, 有 $f=O(h)$ 和 $g=O(h)$，那么
  $$f+g=O(h).$$该性质可以推广到有限个函数.
• 推论：若 $g=O(f)$，则 $f+g=\Theta (f)$
  • 算法由有限步骤构成. 算法的时间复杂度只要取各步时间复杂度函数的上界中最高阶的函数即可.

几类重要的函数

阶的高低

• 至少指数级 (爆炸性增长)： $2^n,3^n,n!,(logn{)}^{logn}=n^{loglogn}$, …
• 多项式级 (以一个多项式作为渐近上界)： $n,n^2,nlogn,log(n!),a^{lo{g}_{b}n}$, …
• 对数多项式级： $logn,lo{g}^{2}n,\sqrt{logn},loglogn$, …
• 常数级：$1,n^{1/logn}$,…

如果算法在多项式级以上，则认为算法实际不可计算，即为 NP-hard 问题

对数函数

• $lo{g}_{k}n=\Theta (lo{g}_{l}n)$
  • 因此常常省略对数函数的底
  • 证：$li{m}_{n\to \infty }\frac{lo{g}_{k}n}{lo{g}_{l}n}=li{m}_{n\to \infty }\frac{lo{g}_{l}n}{lo{g}_{l}k\cdot lo{g}_{l}n}=\frac{1}{lo{g}_{l}k}$
• $lo{g}_{b}n=o(n^{\alpha })$ ($\alpha >0$)
  • 证：$lo{g}_{b}n=\Theta (lnn),lnn=o(n^{\alpha })$；因此有 $lo{g}_{b}n=o(n^{\alpha })$
• $a^{lo{g}_{b}n}=n^{lo{g}_{b}a}$
  • 说明等式左边的 $a^{lo{g}_{b}n}$ 其实是多项式级，而非指数级
  • 证：等式两边取对数 $lo{g}_{b}nlo{g}_{b}a=lo{g}_{b}alo{g}_{b}n$

指数函数与阶乘

Stirling 公式
$$n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\Theta (\frac{1}{n}))$$

• $n!=o(n^n)$
• $n!=\omega (2^n)$
• $log(n!)=\Theta (nlogn)$

前两个性质通过 Stirling 公式 可证，下面对第三个性质进行证明：

• $log(n!)=\Omega (nlogn)$ 的证明
  
  $$log(n!)=\sum _{k=1}^{n}logk\ge {\int }_1^{n}logxdx=loge(nlogn-n+1)=\Omega (nlogn)$$
• $log(n!)=O(nlogn)$ 的证明
  
  $$log(n!)=\sum _{k=1}^{n}logk\le {\int }_2^{n+1}logxdx=O(nlogn)$$
• 也可以直接计算：
  $$\begin{array}{rl}li{m}_{n\to \infty }\frac{log(n!)}{nlogn}& =li{m}_{n\to \infty }\frac{ln(n!)/ln2}{nlnn/ln2}=li{m}_{n\to \infty }\frac{ln(n!)}{nlnn}\\ & =li{m}_{n\to \infty }\frac{ln(\sqrt{2\pi n}(\frac{n}{e}{)}^n(1+\frac{c}{n}))}{nlnn}\\ & =li{m}_{n\to \infty }\frac{ln\sqrt{2\pi n}+nln\frac{n}{e}+ln(1+\frac{c}{n})}{nlnn}=1\end{array}$$

取整函数

• $\lfloor x\rfloor$：小于等于 $x$ 的最大整数
• $\lceil x\rceil$：大于等于 $x$ 的最小整数

取整函数的性质

• $x-1<\lfloor x\rfloor \le x\le \lceil x\rceil <x+1$
• $\lfloor x+n\rfloor =\lfloor x\rfloor +n,\lceil x+n\rceil =\lceil x\rceil +n$, $n$ 为整数
• $\lceil \frac{n}{2}\rceil +\lfloor \frac{n}{2}\rfloor =n$
• $\lceil \frac{\lceil \frac{n}{a}\rceil }{b}\rceil =\lceil \frac{n}{ab}\rceil$, $\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor =\lfloor \frac{n}{ab}\rfloor$