算法基础

ONE

       有朋友问起算法的时间复杂度和空间复杂度的定义和计算方式，于是决定总结一下，一方面可以给大家看，另一方面也算是自我巩固。

       内容参考自《数据结构和算法》，百度百科 等。

 

TWO  算法的基本概念

       算法是对特定问题求解步骤的一种描述，它是指令的有限序列，其中每一条指令表示一个或多个操作。

       一个算法还具有下列5 个重要特性：有穷性，确定性，可行性，输入，输出。      

       设计一个好的算法应考虑以下目标：正确性，可读性，健壮性，效率与低存储量需求。

 

THREE  算法的度量标准

• 时间复杂度

       一个语句的频度是指该语句在算法中被重复执行的次数。算法中所有语句的频度之和记作T(n)，它是该算法问题规模 n 的函数，时间复杂度主要分析T(n)的数量级。算法中的基本运算（最深层循环内的语句）的频度与T(n)同数量级，所以通常采用算法中基本运算的频度f(n)来分析算法的时间复杂度。因此，算法的时间复杂度记为：  T( n ) = O( f(n) )

       其中“ O ”的含义是T(n)的数量级，其严格数学定义是：若T(n)和f(n)是定义在正整数集合上的两个函数，则存在正的常数C和n0，使得当n>=n0时，都满足0<=T(n)<=C*f(n)。

       算法的时间复杂度不仅依赖于问题的规模n，也取决于待输入数据的性质（如输入数据元素的初始状态）。

 

举例：在数组A[0..n-1]中，查找给定值k的算法大致如下：


int FindValue(int k,int *A,int n)    //k是待查数，A是数组，n是数组元素个数
{
	int i = 0;
	while (i < n && (A[i] != k))
	{
		i++;        //语句 1
	}
	return i;
}


/   容易看出此方法中最深层循环的语句为 语句1：“ i-- ” ，则：

/   若A中没有与k相等的元素，则语句1的频度为f(n)=n。
/   若A的第i个元素(下标i-1)等于k，则语句1的频度为f(n)=i。

/   最坏时间复杂度   O(n)               //没有k元素
/   最好时间复杂度   O(1)               //k在第1位
/   平均时间复杂度   O((1+n)/2) = O(n)  //平均值

      

       常见的时间复杂度量

1. O(1)        ：常量阶，运行时间为常量
2. O(log2n)   ：对数阶，如二分搜索算法
3. O(n)        ：线性阶，如n个数内找最大值
4. O(nlog2n) ：对数阶，如快速排序算法
5. O(n^2)    ：平方阶，如选择排序，冒泡排序
6. O(n^3)    ：立方阶，如两个n阶矩阵的乘法运算
7. O(2^n)    ：指数阶，如n个元素集合的所有子集的算法
8. O(n !)      ：阶乘阶，如n个元素全部排列的算法

       运算规则

1. 加法规则 ：T(n) = T1(n)+T2(n) = O(f(n))+O(g(n))=O( max(f(n),g(n)) )
2. 乘法规则：T(n) = T1(n)*T2(n) = O(f(n))*O(g(n))=O( f(n)*g(n) )

 

• 空间复杂度

       空间复杂度(Space Complexity)是对一个算法在运行过程中临时占用存储空间大小的量度，记做S(n)=O(f(n))。