文章目录
1、为什么讨论算法的复杂度?
算法两个主要方面:
-
正确:算法功能与问题要求一致?
-
成本:运行时间 + 所需存储空间 =》 如何度量? + 如何比较?
算法复杂度分析的动机 -
如何度量: 设计的这个算法如何?跑得是不是足够快? 随着问题规模的增长会怎样变化了?
-
如何比较?
同一个问题有多种不同的算法,如何判断其优劣了?
2、为什么讨论算法的复杂度?
直接想法 – 实验测试
- 把代码跑一遍,通过统计、监控,就能得到算法执行的时间和占用的内存大小
实验测试难以准备反映算法的效率 - 测试环境和测试数据各异
-
不同的算法可能适应不同的输入规模
-
不同的算法可能适应不同类型的输入
-
同一个算法,可能由不同的程序员、用不同的语言、由不同的编译器编译
-
同一个算法,可能被运行在不同的OS、不同体系结构的计算机上 为了
给出一个客观的评判断,需要抽象出一个理解的计算模型
不依赖于上述各种具体因素,准确测量和评价算法
RAM(Random Access Model) -
指令一条接着一条执行(串行)
-
指令包含了真实计算机的常见指令,例如:
- 1算数指令(加法,减法,乘法,除法,取余,向下取整,向上取整)
- 2数据移动指令(装入,存储,复制)
- 3控制命令(条件与无条件转移、子程序调用与返回)
-
上述每条指令所用的时间均为常数
在RAM模型中,算法的运行时间就与算法需要执行的指令操作次数成正比,记为T(n),即算法为求解规模为n的问题,所需要执行的指令操作次数。
int hello() {
System.out.println("Hello, World!\n"); // 需要执行 1 次
return 0; // 需要执行 1 次
}
T(n) = 2
T(n) = O(1)
int hello(int n) {
for(int i=0; i<n; i++) { // 需要执行 (n + 1) 次
System.out.println("Hello, World!\n"); // 需要执行 n 次
}
return 0; // 需要执行 1 次
}
T(n) = n+1+n + 1 = 2n + 2
T(n) = O(n)
int hello(int n) {
for(int i=0; i<n; i++) { // 需要执行 (n + 1) 次
System.out.println("Hello, World!\n"); // 需要执行 n 次
}
for(int i=0; i<n; i++) { // 需要执行 (n + 1) 次
for(int j=0; j<n; j++) // 需要执行 (2n + 1)*n 次
System.out.println("Hello, World!\n"); // 需要执行 n*n次
}
return 0; // 需要执行 1 次
}
T(n) =2 n+1+n + n+1 + n (n+1) + nn + 1 = 2n2+ 4n + 3
3、时间频度
基本介绍
时间频度:一个算法花费的时间与算法中语句的执行次数成正比例,哪个算法中语句执行次数多,它花费时间就多。 一个算法中的语句执行次数称为语句频度或时间频度。记为 T(n)。
举例说明-基本案例
比如计算 1-1000 所有数字之和, 我们设计两种算法:
举例说明-忽略常数项
结论:
1) 2n+20 和 2n 随着 n 变大,执行曲线无限接近, 20 可以忽略
2) 3n+10 和 3n 随着 n 变大,执行曲线无限接近, 10 可以忽略
举例说明-忽略低次项
举例说明-忽略系数
结论:
1) 随着 n 值变大,5n^2+7n 和 3n^2 + 2n ,执行曲线重合, 说明 这种情况下, 5 和 3 可以忽略。
2) 而 n^3+5n 和 6n^3+4n ,执行曲线分离,说明多少次方式关键
4、 时间复杂度
-
一般情况下,算法中的基本操作语句的重复执行次数是问题规模 n 的某个函数,用 T(n)表示,若有某个辅助函数 f(n),**使得当 n 趋近于无穷大时,T(n) / f(n) 的极限值为不等于零的常数,则称 f(n)是 T(n)的同数量级函数。记作 T(n)= O( f(n) ),称O( f(n) ) 为算法的渐进时间复杂度,**简称时间复杂度。
-
T(n) 不同,但时间复杂度可能相同。 如:T(n)=n²+7n+6 与 T(n)=3n²+2n+2 它们的 T(n) 不同,但时间复杂度相同,都为 O(n²)。
-
计算时间复杂度的方法:
用常数 1 代替运行时间中的所有加法常数 T(n)=n²+7n+6 => T(n)=n²+7n+1
修改后的运行次数函数中,只保留最高阶项 T(n)=n²+7n+1 => T(n) = n²
去除最高阶项的系数 T(n) = n² => T(n) = n² => O(n²)
常见的时间复杂度
-
- 常数阶 O(1)
-
- 对数阶 O(log2n)
-
- 线性阶 O(n)
-
- 线性对数阶 O(nlog2n)
-
- 平方阶O(n^2)
-
- 立方阶 O(n^3)
-
- k 次方阶 O(n^k)
-
- 指数阶 O(2^n)
常见的时间复杂度对应的图
说明:
1) 常见的算法时间复杂度由小到大依次为:Ο(1)<Ο(log2n)<Ο(n)<Ο(nlog2n)<Ο(n2)<Ο(n3)<Ο(nk)<Ο(2n) ,随着问题规模 n 的不断增大,上述时间复杂度不断增大,算法的执行效率越低
2) 从图中可见,我们应该尽可能避免使用指数阶的算法
4.1 常数阶 O(1)
无论代码执行了多少行,只要是没有循环等复杂结构,那这个代码的时间复杂度就都是O(1)。
上述代码在执行的时候,它消耗的时候并不随着某个变量的增长而增长,那么无论这类代码有多长,即使有几万几十万行,都可以用O(1)来表示它的时间复杂度。
4.2对数阶 O(log2n)
说明: 在while循环里面,每次都将 i 乘以 2,乘完之后,i 距离 n 就越来越近了。假设循环x次之后,i 就大于 n 了,此时这个循环就退出了,也就是说 2 的 x 次方等于 n,那么 x = log2n也就是说当循环 log2n 次以后,这个代码就结束了。因此这个代码的时间复杂度为:O(log2n) 。 O(log2n) 的这个2 时间上是根据代码变化的,i = i * 3 ,则是 O(log3n) 。
4.3 线性阶 O(n)
说明: 这段代码,for循环里面的代码会执行n遍,因此它消耗的时间是随着n的变化而变化的,因此这类代码都可以用O(n)来表示它的时间复杂度。
4.4线性对数阶 O(nlogN)
说明: 线性对数阶O(nlogN) 其实非常容易理解,将时间复杂度为O(logn)的代码循环N遍的话,那么它的时间复杂度就是 n * O(logN),也就是了O(nlogN)。
4.5 平方阶 O(n²)
说明: 平方阶O(n²) 就更容易理解了,如果把 O(n) 的代码再嵌套循环一遍,它的时间复杂度就是 O(n²),这段代码其实就是嵌套了2层n循环,它的时间复杂度就是 O(nn),即 O(n²) 如果将其中一层循环的n改成m,那它的时间复杂度就变成了 O(mn)
说明: 参考上面的 O(n²) 去理解就好了,O(n³)相当于三层 n 循环,其它的类似
4.6 平均时间复杂度和最坏时间复杂度
-
平均时间复杂度是指所有可能的输入实例均以等概率出现的情况下,该算法的运行时间。
-
最坏情况下的时间复杂度称最坏时间复杂度。 一般讨论的时间复杂度均是最坏情况下的时间复杂度。这样做的原因是:最坏情况下的时间复杂度是算法在任何输入实例上运行时间的界限,这就保证了算法的运行时间不会比最坏情况更长。
-
平均时间复杂度和最坏时间复杂度是否一致,和算法有关(如下图)。
5. 空间复杂度
5.1 简介
- 类似于时间复杂度的讨论,一个算法的空间复杂度(Space Complexity)定义为该算法所耗费的存储空间,它也是问题规模 n 的函数。
- 空间复杂度(Space Complexity)是对一个算法在运行过程中临时占用存储空间大小的量度。有的算法需要占用的临时工作单元数与解决问题的规模 n 有关,它随着 n 的增大而增大,当 n 较大时,将占用较多的存储单元,例如快速排序和归并排序算法, 基数排序就属于这种情况
- 在做算法分析时,主要讨论的是时间复杂度。 从用户使用体验上看,更看重的程序执行的速度。一些缓存产品(redis, memcache)和算法(基数排序)本质就是用空间换时间。
4.2 定义
算法的空间复杂度通过计算算法所需的存储空间实现,算法的空间复杂度的计算公式记作:S(n)=O(f(n)),其中,n为问题的规模,f(n)为语句关于n所占存储空间的函数。
举例说明
例如:如何判断某年是不是闰年?
方法一
写一个算法,每给一个年份,就可以通过该算法计算得到是否闰年的结果。
方法二
先建立一个所有年份的数组,然后把所有的年份按下标的数字对应,如果是闰年,则此数组元素的值是1,如果不是元素的值则为0。这样,所谓的判断某一年是否为闰年就变成了查找这个数组某一个元素的值的问题。
第一种方法相比起第二种来说很明显非常节省空间,但每一次查询都需要经过一系列的计算才能知道是否为闰年。
第二种方法虽然需要在内存里存储所有年份的数组,但是每次查询只需要一次索引判断即可。
这是空间和时间互换的例子。到底哪一种方法好?其实还是要看具体用在什么地方。