《大话数据结构》学习笔记（二）- 第二章 算法

1. 算法（Algorithm）

算法是描述解决问题的方法。
定义：算法是解决特定问题求解步骤的描述，在计算机中表现为指令的有限序列，并且每天指令表示一个或多个操作。
没有通用的、解决所有问题的算法。
算法定义中的指令，可以是计算机指令，也可以是我们平时的语言文字，可以被人或机器等计算装置执行。
为了解决某个或某类问题，需要把指令表示成一定的操作序列，操作序列包括一组操作，每一个操作完成特定的功能，这就是算法。

2. 算法的特性

算法具有五个基本特性：输入、输出、有穷性、确定性和可行性。

2.1 输入和输出

输入和输出特性：算法具有零个或多个输入。算法至少有一个或多个输出。
算法一定需要输出！

2.2 有穷性

定义：指算法在执行有限的步骤之后，会自动结束而不会出现无限循环，并且每一个步骤在可接受的时间内完成。

2.3 确定性

定义：算法的每一步骤都具有确定的含义，不会出现二义性。
算法在一定条件下，只有一条执行路径，相同的输入只能有唯一的输出结果。算法的每个步骤被精确定义而无歧义。

2.4 可行性

定义：算法的每一步都必须是可行的，即，每一步都能够通过执行有限次数完成。
可行性意味着算法可以转换为程序上机运行，并得到正确的结果。

算法不是唯一的，同一个问题，可以有多种解决问题的算法。

3. 算法设计的要求

好的算法，应该具有正确性、可读性、健壮性、高效率和低存储量的特征。

3.1 正确性

定义：算法的正确性是指算法至少应该具有输入、输出和加工处理无歧义性、能正确反映问题的需求、能够得到问题的正确答案。
大体分为四个层次：
1) 算法程序没有语法错误。
2) 算法程序对于合法的输入数据能够产生满足要求的输出结果。
3) 算法程序对于非法的输入数据能够得出满足规格说明的结果。
4) 算法程序对于精心选择的，甚至刁难的测试数据都有满足要求的输出结果。
一般情况下，我们把层次3作为一个算法是否标注的标准。

3.2 可读性

定义：算法设计的另一目的是为了便于阅读、理解和交流。
即，容易理解。

3.3 健壮性

定义：当输入数据不合法时，算法也能做出相关处理，而不是产生异常或莫名其妙的结果。
即，对输入数据不合法的情况做合适的处理。

3.4 时间效率高和存储量低

时间效率：算法的执行时间。执行时间短的算法效率高，执行时间长的效率低。
存储量：算法在执行过程中需要的最大存储空间，主要指算法程序运行时所占用的内存或外部硬盘存储空间。
设计算法应该尽量满足时间效率高和存储量低的要求。

4. 算法效率的度量方法

4.1 事后统计法

定义：通过设计好的测试程序和数据，利用计算机计时器对不同算法编制的程序的运行时间进行比较，从而确定算法效率的高低。
缺点：需要事先编制好程序；依赖于计算机硬件和软件等环境因素；算法的测试数据设计困难。
即，不采用事后统计法。

4.2 事前分析估算方法

定义：在计算机程序编制前，依据统计方法对算法进行预估。

一个用高级程序语言编写的程序在计算机上运行时所消耗的时间取决于以下因素：
1) 算法采用的策略、方法。 //算法好坏的根本
2) 编译产生的代码质量。 //由软件来支持
3) 问题的输入规模。
4) 机器执行指令的速度。//看硬件性能
即，抛开这些与计算机硬件、软件有关的因素，一个程序的运行时间，依赖于算法的好坏和问题的输入规模。
输入规模：输入量的多少。
测定运行时间最可靠的方法是计算对运行时间有消耗的基本操作的执行次数。运行时间与计数成正比。
基本操作的数量必须表示成输入规模的函数。

5. 函数的渐近增长

定义：给定两个函数$f(n)$和$g(n)$，如果存在一个整数N，使得对于所有的$n>N$，$f(n)$总是比$g(n)$大，那么我们说$f(n)$的增长渐近快于$g(n)$。
通过观察发现：
1) 可以忽略加法常数.
2) 与最高次项相乘的常数并不重要。
3) 最高次项的指数大的，函数随着n的增长，结果也会增长的非常快。
即，判断一个算法的效率时，函数的常数和其他次项常常可以忽略，而更应该关注主项（最高阶项）的阶数。
判断一个算法好不好，只从少量数据是无法做出准确判断的。
某个算法，随着n的增大，它会越来越优于另一算法，或越来越差于另一个算法。
执行次数越少，算法越好。

6. 算法时间复杂度

定义：在进行算法分析时，语句总的执行次数$T(n)$是关于问题规模$n$的函数，进而分析$T(n)$随$n$的变化情况并确定$T(n)$的数量级。算法的时间复杂度，也就是算法的时间量度，记作：$T(n)=O(f(n))$。它表示随问题规模$n$的增大，算法执行时间的增长率和$f(n)$的增长率相同，称作算法的渐近时间复杂度，简称为时间复杂度。其中$f(n)$是问题规模$n$的的某个函数。 – 大$O$记法。

一般情况下，随着$n$的增大，$T(n)$增长最慢的算法为最优算法。

• $O(1)$叫常数阶
• $O(n)$叫线性阶
• $O(n^2)$叫平方阶
• …

6.1 推导大$O$算法

方法：
1) 用常数1取代运行时间中的所有加法常数。
2) 在修改后的运行次数函数中，只保留最高阶项。
3) 如果最高阶存在且不是1，则去除与这个项相乘的常数。
– 得到的结果就是大$O$阶。

6.2 常数阶

顺序结构的时间复杂度：

int sum = 0, n=100;    /*执行一次*/
sum = (1+n) * n/2;     /*执行一次*/
printf("%d", sum);     /*执行一次*/

这个算法的运行次数函数是$f(n)=3$，这个算法的时间复杂度为$O(1)$。
又如：

int sum = 0, n=100;    /*执行一次*/
sum = (1+n) * n/2;     /*执行第1次*/
sum = (1+n) * n/2;     /*执行第2次*/
sum = (1+n) * n/2;     /*执行第3次*/
sum = (1+n) * n/2;     /*执行第4次*/
sum = (1+n) * n/2;     /*执行第5次*/
sum = (1+n) * n/2;     /*执行第6次*/
sum = (1+n) * n/2;     /*执行第7次*/
sum = (1+n) * n/2;     /*执行第8次*/
sum = (1+n) * n/2;     /*执行第9次*/
sum = (1+n) * n/2;     /*执行第10次*/
printf("%d", sum);     /*执行一次*/

无论$n$为多少，上面的两段代码就是3次和12次的执行差异。
定义：与问题的大小无关（n的多少），执行时间恒定的算法，我们称之为具有$O(1)$的时间复杂度，又叫常数阶。
对于分支结构而言，无论真假，执行的次数都是恒定的，不会随着$n$的变大而发生变化，所以单纯的分支结构（不包含在循环结构中），其时间复杂度也是$O(1)$。

6.3 线性阶

分析算法的复杂度，关键就是分析循环结构的运行情况。
下面这段代码，它的循环的时间复杂度为$O(n)$，因为循环体中的代码必须要执行$n$次。

int i;
for(i = 0; i < n; i++){
	/*时间复杂度为O(1)的程序步骤序列*/
}

6.4 对数阶

int count = 1;
while( count < n ){
	count = count * 2;
	/*时间复杂度为O(1)的程序步骤序列*/
}

有$lo{g}_{2}n$个2相乘之后会大于$n$，退出循环。所以时间复杂度为$O(log2n)$。

6.5 平方阶

嵌套循环：

int i, j;
for(i = 0; i < m; i++){
	for( j = 0; j < n; j++ ){
		/*时间复杂度为O(1)的程序步骤序列*/
	}
}

内部循环是时间复杂度为$O(n)$的语句，循环$m$次，这段代码的时间复杂度为$O(m\times n)$。

例：下面这个嵌套循环，时间复杂度为多少？

int i, j;
for(i = 0; i < n; i++){
	for( j = i; j < n; j++ ){
		/*时间复杂度为O(1)的程序步骤序列*/
	}
}

当$i=0$时，内循环执行了$n$次；
当$i=1$时，内循环执行了$n-1$次；
…
当$i=n-1$时，内循环执行了$1$次，
所以，总的执行次数为：
$n+(n-1)+(n-2)+...+1=\frac{n(n+1)}{2}=\frac{n^2}{2}+\frac{n}{2}$
最终这段代码的时间复杂度为$O(n^2)$。

6.6 常见的时间复杂度

时间复杂度从小到大依次是：
$O(1)<O(logn)<O(n)<O(nlogn)<O(n^2)<O(n^3)<O(2^n)<O(n!)<O(n^n)$\

6.7 最坏情况与平均情况

最坏情况运行时间是一种保证，那就是运行时间将不会再坏了。在应用中，这是一种最重要的需求，通常，除非特别指定，我们提到的运行时间都是最坏情况的运行时间。
平均运行时间是所有情况中最有意义的，因为它是期望的运行时间。一般在没有特殊说明下，都是指最坏时间复杂度。

6.8 算法空间复杂度

定义：算法的空间复杂度通过计算算法所需的存储空间实现，算法空间复杂度的计算公式记作：$S(n)=O(f(n))$，其中，$n$为问题的规模，$f(n)$为语句关于$n$所占存储空间的函数。