算法设计与分析基础篇

算法设计与分析

基础知识

一、调度问题和投资问题

调度问题

问题：有n项任务，每项任务加工时间已知。从0时刻开始陆续安排到一台机器上加工。每个任务的完成时间是从0时刻到任务加工截止的时间。求：总完成时间（所有任务完成时间之和）
最短的安排方案
实例
任务集 S={1,2,3,4,5}，
加工时间：4=3,，4=8,=5，4=10,15=15

贪心法的解

发现第一个任务的加工时间出现了五次，依次类推最后一个是一次

问题建模：

---

贪心算法

设计策略：加工时间短的先做
算法：根据加工时间从小到大排序，依次加工
算法正确性：对所有输入实例都得到最优解

证明：

越往前计算的次数越多

---

但是贪心算法不一定都是正确的

反例：

有4件物品要装入背包，物品重量和价值如下：

标号	1	2	3	4
重量wi	3	4	5	2
价值vi	7	9	9	2

背包重量限制是6，问如何选择物品，使得不超重的情况下装入背包的物品价值达到最大？

• 单位重量价值最大

---

算法设计

1. 问题建模
2. 选择什么算法？如何描述这个方法？
3. 这个方法是否对所有实例都得到最优解？如何证明？
4. 如果不是，能否找到反例？

---

---

投资问题

建模：

蛮力算法：

对所有满足下述条件的向量<x₁,x₂,…,x_n>

​ x₁+x₂+…+x_n = m

​ x_i为非负整数，i = 1,2，… , n

计算相应的效益
f₁(x₁) + f₂(x₂) + … + f_n(x_n)
从中确认效益最大的向量

---

蛮力算法的效率

估计序列的个数，一共有m个1，n -1个0

序列个数是输入规模的指数函数

C（m + n - 1，m）//m+n-1个位置选取m个位置来放

=$$\frac{(m+n-1)!}{m!(n-1)!}$$

=$$\Omega ((1+\epsilon {)}^{m+n-1})$$ //$\epsilon$是一个大于0的数

---

问题求解的关键

• 建模：对输入参数和解给出形式化或半形式化的描述

• 设计算法：

  采用什么算法设计技术

  正确性一一是否对所有的实例都得到正确的解

• 分析算法一一效率

---

---

二、问题计算复杂度的界定：排序问题

（一）排序算法的效率

以元素比较作为基本运算

算法	最坏情况下	平均情况下
插入排序	O（n2）	O（n2）
冒泡排序	O（n2）	O（n2）
快速排序	O（n2）	O（nlogn）
堆排序	O（nlogn）	O（nlogn）
二分归并排序	O（nlogn）	O（nlogn）

---

插入排序

插入2过程：与6比较小，6往后移；与5比较小，5往后移；直到与1比较大，放在1的后面；同理，4也是一样

插入排序算法运行实例：

---

冒泡排序

冒泡说的是巡回，这个是大的先回的位置

冒泡排序运行实例：

当巡回过程没有发生元素的交换巡回结束。

---

快速排序一次递归运行

以首元素作为参照，从前往后数找第一个比首元素大的，从后往前数找第一个比首元素小的，找见以后进行交换，直到相邻元素发生交换，可知那两个数中间分界线后面是比首元素大的，前面是比首元素小的，此时2的位置就是首元素的位置，到了划分这一步，此后首元素作为分界线划分为两个子问题进行递归运行

---

二分归并排序

实例

就是从中间先划分开，先分别排好序，分别选取每个划分中的首元素比较，把小的拿出来，一次只拿一个，直到全部排完

---

---

三、货郎问题和计算复杂性理论

货郎问题

问题：
有n个城市，已知任两个城市之间的距离.求一条每个城市恰好经过1次的回路，使得总长度最小。

建模与算法

• 输入：

  有穷个城市的集合C = {C₁,C₂,…,C_n}，距离d（C_i，C_j）= d（C_j，C_i）属于正整数，1<= i < j <= n

• 解：1,2.。。。n的排列k₁，k₂，。。。，k_n使得

  

---

0—1背包问题

问题描述：有n个件物品要装入背包，第i件物品的重量w_i，价值v_i，i=1.2…,n.背包最多允许装入的重量为B，问如何选择装入背包的物品，使得总价值达到最大？

实例

现使n = 4，B = 6

标号	1	2	3	4
重量wi	3	4	5	2
价值vi	7	9	9	2

解

0—1向量<x₁,x₂,…x_n>

x_i = 1 $\iff$物品 i 装入背包

$$max\sum _{i=1}^n{v}_i{x}_i$$

$$\sum _{i=1}^n{w}_i{x}_i\le B$$

$$x_i=0,1,i=1,2,...,n$$

---

双机调度

双机调度问题：有n项任务，任务m的加工时间为t，t,ez+,1.,n用两台相同的机器加工，从0时刻开始计时，完成时间是后停止加工机器的停机时间.问如何把这些任务分配到两台机器上，使得完成时间达到最小？

双机调度建模

0-1向量<x₁, x₂,…,x_n>，x_i = 1表示任务 $i$
分配到第一台机器，i=1.2…,n.
不妨设机器1的加工时间 ≤ 机器2的加工时间令T = t₁+t₂+…+t_n, D=T/2向下取整，机器1的加工时间不超过D，且达到最大

---

---

四、算法及时间复杂度

1、问题及实例

问题

需要回答的一般性提问，通常含若干参数

问题描述
定义问题参数（集合，变量，函数，序列等）
说明每个参数的取值范围及参数间的关系
定义问题的解
说明解满足的条件（优化目标或约束条件）

问题实例
参数的一组赋值可得到问题的一个实例

---

算法

• 有限条指令的序列，确定了解决某个问题的一系列运算或操作

• 算法A解问题P

  问题P的任何实例作为算法的输入，每一步都是确定的，可以在有限步停机，可以输出实例的正确解

---

基本运算和输入规模

• 算法的时间复杂度：针对基本运算，计算算法的运算次数

• 基本运算：比较，加法，乘法，置指针，交换……

• 输入规模：输入串编码的长度

• 算法基本运算次数可以当做可表示为输入规模的函数

• 给定问题和基本运算就决定了一个算法类

---

输入规模

• 排序：数组中元素个数$n$
• 检索：被检索数组的元素个数n
• 整数乘法：两个整数的位数m,n
• 矩阵相乘：矩阵的行列数i,j,k
• 图的遍历：图的顶点数n，边数m

---

基本运算

• 排序：元素之间的比较

• 检索：被检索元素与数组元素的比较

• 整数乘法：每位数字相乘（位乘）1次 m位和n位整数相乘要做mn次位乘

• 矩阵相乘：每对元素乘1次

  $i\times j$矩阵与$j\times k$ 矩阵相乘要做 i j k 次乘法 //总共有$i\times k$ 个元素，得到每个元素需要进行 $j$ 次乘法

• 图的遍历：置指针

---

两种时间复杂度

最坏情况下的时间复杂度W（n)
算法求解输入规模为的实例所需要的最长时间

平均情况下的时间复杂度A（n)
在给定同样规模为 n 的输入实例的概率分布下，算法求解这些实例所需要的平均时间

A（n）计算公式

S是规模为 n 的实例集，实例$I\in S$ 的概率是$P_I$

$$A(n)=\sum _{I\in S}{P}_I{t}_I$$

在某些情况下可以假定每个输入实例概率都相等

---

顺序检索算法

j = 1，将x与 $L[j]$ 比较. 如果x =L[j]，则算法停止，输出$j$；如果不等，则把 $j$ 加1，继续x与$L[j]$的比较，如果$j$​>n，则停机并输出0.
实例

1	2	3	4	5

X=4，需要比较4次
x=2.5，需要比较5次

• 最坏情况估计：

  不同的输入有2n+1个，分别对应：
  $$x=L[1],x=L[2],...,x=L[n]$$

  $$x<L[i],L[1]<x<L[2],...,L[n]<x$$

  最坏情况下时间：W(n)=n
  最坏的输入：$x$不在L中或 $x=L[n]$
  要做n次比较

• 平均情况的时间估计

  $x$在L中概率为P并且每个位置出现的概率相等

  $$A(n)=\sum _{i=1}^{n}i\frac{p}{n}+(1-p)n$$

$$=\frac{p(n+1)}{2}+(1-p)n$$

---

改进顺序检索算法

如果元素不在数组里面，比较到它比前一个元素大，比后一个元素小就直接停机

时间估计

• 最坏情况：$$W(n)=n$$

---

---

五、算法的伪码表示

赋值语句：←
分支语句：if…then…$[else...]$
循环语句：while,for，repeat until

转向语句：goto
输出语句：return
调用：直接写过程的名字
注释：$//...$

eg:

求最大公约数(欧几里得算法)

输入：非负数m，n，m与n不全为0
输出：m与n的最大公约数

$$\begin{gathered} whilem>0do \\ r\leftarrow nmodm \\ n\leftarrow m \\ m\leftarrow r \\ returnn \end{gathered}$$

---

eg:

算法 $InsertSort(A,n)$

输入：n个数的数组$A$

输出：递增序列的数组A

$$\begin{gathered} forj\leftarrow 2tondo \\ x\leftarrow A[j] \\ i\leftarrow j-1 \\ whilei>0andx<A[i]do \\ A[i+1]\leftarrow A[i] \\ i\leftarrow i-1 \\ A[i+1]\leftarrow x \end{gathered}$$

第三行到最后是把$A[j]$插入到$A[\mathrm{1..}j-1]$

---

伪码不是程序代码，只是给出关键步骤，伪码是允许过程调用的

---

---

六、函数的渐进的界

1、大$O$符号

定义：设 $f$ 和 $g$ 是定义域为自然数集N上的函数。若存在正数 $c$和$n_0$，使得对一切$n\ge n_0$有$0\le f(n)\le cg(n)$成立，则称$f(n)$的渐近的上界是$g(n)$,记作
$$f(n)=O(g(n))$$

eg：

$$\begin{gathered} 设f(n)=n^2+n,则 \\ f(n)=O(n^2),取c=2，n_0=1即可 \\ f(n)=O(n^3),取c=1,n_0=2即可 \end{gathered}$$

注意事项

• $f(n)=O(g(n)),f(n)的阶不高于g(n)的阶$
• 可能存在多个正数c，只要指出一个即可。
• 对前面有限个值可以不满足不等式
• 常函数可以写作0(1).

---

2、大$\Omega$符号

定义：设 $f$ 和 $g$ 是定义域为自然数集N上的函数。若存在正数 $c$ 和 $n_0$，使得对一切$n\ge n_0$有 $0\le cg(n)\le f(n)$ 成立，则称$f(n)$的渐近的下界是$g(n)$,记作
$$f(n)=\Omega (g(n))$$
注意事项

• $f(n)=\Omega (g(n)),f(n)的阶不低于g(n)的阶$
• 可能存在多个正数c，只要指出一个即可。
• 对前面有限个值可以不满足不等式

---

3、小$o$符号

定义：设 $f$ 和 $g$ 是定义域为自然数集N上的函数。若对于任意正数 $c$ 都存在 $n_0$，使得对一切$n\ge n_0$有 $0\le f(n)<cg(n)$ 成立，记作
$$f(n)=o(g(n))$$

注意

• 最后面是<

• $f(n)=o(g(n)),f(n)$的阶低于$g(n)$的阶

• 对不同正数$c,n_0$不一样.$\ c\ $越小$\ n_0\ $越大

• 对前面有限个值$\ n\ $可以不满足不等式

---

4、小 $\omega$ 符号

定义：设 $f$ 和 $g$ 是定义域为自然数集N上的函数。若对于任意正数 $c$ 都存在 $n_0$，使得对一切$n\ge n_0$有 $0\le cg(n)<f(n)$ 成立，记作
$$f(n)=\omega (g(n))$$

注意

• $f(n)=\omega (g(n))$ , $\ f(n)\ $的阶高于$\ g(n)\ $的阶
• 对不同的正数$\ c,n_0\ $不等,$\ c \ $越大$\ n_0 \ $越大
• 对前面有限个n值可以不满足不等式

---

5、$\Theta$符号

定义：

$$\begin{gathered} 若f(n)=O(g(n))且f(n)=\Omega (g(n)), \\ 记作f(n)=\Theta (g(n)) \end{gathered}$$

eg:

$$\begin{gathered} f(n)=n^2+n,g(n)=100n^2 \\ f(n)=\Theta (g(n)) \end{gathered}$$

等阶

---

---

七、函数渐进界定理

• 定理一：

  $f,g$为定义域是自然数集合的函数

  • $\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=c>0\Rightarrow f(n)=\Theta (g(n))$

  • $\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=0\Rightarrow f(n)=o(g(n))$

  • $\underset{n\to \infty }{\lim }\frac{f(n)}{g(n)}=+\infty \Rightarrow f(n)=\omega (g(n))$

    • 可证明：多项式函数的阶低于指数函数的阶

      $$n^d=o(r^n),r>1,d>0$$

    • 对数函数的阶低于幂函数的阶

      $\ln n=o(n^d),d>0$

• 定理二：

  设$f,g,h$为定义域是自然数集合的函数。函数的阶具有传递性

  $f=O(g)\&\&g=O(h)\Rightarrow f=O(h)$,$\Omega ,\Theta$同样是这样

• 定理三：

  $f,g$为定义域是自然数集合的函数，若$f=O(h)和g=O(h)\Rightarrow f+g=O(h)$

  可以推广到有限个函数，算法是有限步骤，如果每一步上界都是$h(n)$，那么该算法就是$O(h(n))$

在常数步的情况下取得最高阶的函数即可

---

---

八、几类重要的函数

1、基本函数类

至少指数级：$2^n,3^n,n!,...$

多项式级：$n,n^2,n\log n,n^{1/2},...$

对数多项式级：$\log n,(\log n{)}^2,\log \log n$

2、对数函数

符号代表：

$$\begin{gathered} \log n=lo{g}_{2}n \\ {\log }^{k}n=(\log n{)}^k \\ \log \log n=\log (\log n) \end{gathered}$$

性质：

• ${\log }_{2}n=\Theta ({\log }_{l}n)$ //$l$是其他任意的数，不关注它的底
• ${\log }_{b}n=o(n^{\alpha })\alpha >0$
• $a^{{\log }_{b}n}=n^{{\log }_{b}a}$

证明：

$\{\begin{array}{l}{\log }_{b}n=\Theta \left(\ln n\right)\\ \ln n=o\left(n^{\alpha }\right)\end{array}\Rightarrow {\log }_{b}n=o\left(n^{\alpha }\right)\alpha >0$

$$a^{{\log }_{b}n}=n^{{\log }_{b}a}$$

$$\Updownarrow$$

$${\log }_{b}n{\log }_{b}a={\log }_{b}a{\log }_{b}n$$

---

3、指数函数与阶乘

斯特灵公式（Stirling公式）
$$n!=\sqrt{2\pi n}{\left(\frac{n}{e}\right)}^n\left(1+\Theta \left(\frac{1}{n}\right)\right)$$

由公式可得，主要是由前面的那部分决定$n!$

$n!$ 的性质
$$n!=o\left(n^n\right)$$

$$n!=\omega \left(2^n\right)$$

$$\log \left(n!\right)=\Theta \left(n\log n\right)$$

eg：（利用斯特灵公式）

m元钱、投资n个项目的分配方案数
$${\complement }_{m+n-1}^m=\frac{\left(m+n-1\right)!}{m!\left(n-1\right)!}$$

$$=\frac{\sqrt{2\pi \left(m+n-1\right)}{\left(m+n-1\right)}^{m+n-1}\left(1+\Theta \left(\frac{1}{m+n-1}\right)\right)}{\sqrt{2\pi m}{m}^m\left(1+\Theta \left(\frac{1}{m}\right)\right)\sqrt{2\pi \left(n-1\right)}{\left(n-1\right)}^{n-1}\left(1+\Theta \left(\frac{1}{n-1}\right)\right)}$$

$$=\Theta \left({\left(1+\epsilon \right)}^{m+n-1}\right)$$

$\log (n!)=\Omega (n\log n)$ 的证明
$$\log \left(n!\right)=\sum _{k=1}^n\log k\ge {\int }_1^n\log xdx$$

$$=\log e\left(n\ln n-n+1\right)=\Omega \left(n\log n\right)$$

$\log (n!)=O(n\log n)$的证明

$$\log \left(n!\right)=\sum _{k=1}^n\log k\le {\int }_2^{n+1}\log xdx=O\left(n\log n\right)$$

2~3之间的一长条矩形的面积等于$log2$，依次类推

---

4、取整函数

定义不多赘述

应用：二分检索输入数组长度：n中位数的位置：
$$\lfloor \frac{n}{2}\rfloor$$与中位数比较后子问题大小 $$\lfloor \frac{n}{2}\rfloor$$

性质：
$$x-1<\lfloor x\rfloor \le \lceil x\rceil <x+1$$

$$\lfloor x+n\rfloor =\lfloor x\rfloor +n,\lceil x+n\rceil =\lceil x\rceil +n,n\text{为整数}$$

$$\lceil \frac{n}{2}\rceil +\lfloor \frac{n}{2}\rfloor =n$$

$$\lceil \frac{\lceil \frac{n}{a}\rceil }{b}\rceil =\lceil \frac{n}{ab}\rceil ,\lfloor \frac{\lfloor \frac{n}{a}\rfloor }{b}\rfloor =\lfloor \frac{n}{ab}\rfloor$$

---

按照阶排序
$$2^{2^n},n!,n{2}^n,{\left(\frac{3}{2}\right)}^n,{\left(\log n\right)}^{\log n}=n^{\log \log n},$$

$$n^3,\log \left(n!\right)=\Theta \left(n\log n\right),n=2^{\log n},$$

$${\log }^{2}n,\log n,\sqrt{\log n},\log \log n,$$

$$n^{\frac{1}{\log n}}=1$$

---

---

九、求和

1、序列求和的方法

等差：
$$\sum _{k=1}^n{a}_k=\frac{n\left(a_1+a_n\right)}{2}$$
等比：
$$\sum _{k=0}^{n}a{q}^k=\frac{a\left(1-q^{n+1}\right)}{1-q}$$

$$\sum _{k=0}^{\infty }a{q}^k=\frac{a}{1-q}\left(q<1\right)$$

调和级数：
$$\sum _{k=1}^n\frac{1}{k}=\ln n+O\left(1\right)$$

eg：
$$\sum _{t=1}^{k}t{2}^{t-1}=\sum _{t=1}^{k}t\left(2^t-2^{t-1}\right)//拆项$$

$$=\sum _{t=1}^{k}t{2}^t-\sum _{t=1}^{k}t{2}^{t-1}=\sum _{t=1}^{k}t{2}^t-\sum _{t=0}^{k-1}\left(t+1\right)2^t//变限$$

$$\sum _{t=1}^{k}t{2}^t-\sum _{t=0}^{k-1}t{2}^t-\sum _{t=0}^{k-1}{2}^t//拆项$$

$$=k{2}^k-\left(2^k-1\right)=\left(k-1\right)2^k+1$$

二分检索算法

算法$BinarySearch(T,l,r,x)$

输入：数组 T ，下标从$l$到$r$;数$x$

输出：$j$
$$l\leftarrow 1;r\leftarrow n$$

$$whilel\le rdo$$

$$m\leftarrow \lfloor \frac{\left(l+r\right)}{2}\rfloor$$

$$ifT\left[m\right]=xthenreturnm//x\text{中位元素}$$

$$elseifT\left[m\right]>xthenr\leftarrow m-1$$

$$elsel\leftarrow m+1$$

$$return0$$

输入有$2n+1\ $中输入

比较$\ t\ $次的输入个数

	x

比较1次：一个

	x				x

比较2次：2个

	x				x				x			x

比较3次：4个

对$t=1,2,...,k-1$，比较$\ t \ $次：$2^{t-1}$个

比较$\ k \ $次的输入有$2^{k-1}+n+1$个

总次数：每个输入乘以次数再求和

二分检索平均时间复杂度

假设$n=2^k-1$，各种输入概率相等
$$A\left(n\right)=\frac{1}{2n+1}\left[\sum _{t=1}^{k-1}t{2}^{t-1}+k\left(2^{k-1}+n+1\right)\right]$$

$$=\frac{1}{2n+1}\left[\sum _{t=1}^{k}t{2}^{t-1}+k\left(n+1\right)\right]$$

$$=\frac{1}{2n+1}\left[\left(k-1\right)2^k+1+k\left(n+1\right)\right]$$

$$=\frac{k{2}^k-2^k+1+k{2}^k}{2^{k+1}-1}\approx k-\frac{1}{2}=\lfloor \log n\rfloor +\frac{1}{2}$$

---

估计合式上界的放大法

1、放大法：
$$\sum _{k=1}^n{a}_k\le n{a}_{\max }$$
这个比较粗糙

2、存在$r<1$，对一切$k\ge 0\text{有}\frac{a_{k+1}}{a_k}\le r$成立