上篇文章,讲解了复杂度的大 O 表示法和几个分析技巧,还举了一些常见复杂度分析的例子,比如 O ( 1 ) O(1) O(1)、 O ( n ) O(n) O(n)、 O ( l o g n ) O(logn) O(logn)、 O ( n l o g n ) O(nlogn) O(nlogn) 复杂度分析。
本章继续讲解复杂度分析方面的知识点,最好情况时间复杂度、最坏情况时间复杂度、平均情况时间复杂度、均摊时间复杂度。
最好、最坏情况时间复杂度
上篇文章举的分析复杂度的例子都很简单,现在来看一个稍微复杂的。
// n表示数组array长度
int find(int[] array, int n, int x) {
int pos = -1;
int i = 0;
for(; i < n; i++) {
if (array[i] == x) pos = i;
}
return pos;
}
你应该可以看出来,这段代码实现的是查找功能。如果没有找到,就返回 -1。按照上节课的分析方法,这段代码的复杂度是 O ( n ) O(n) O(n),其中 n 代表数组长度。
在数组中查找一个数据,并不需要每次都把整个数组遍历一遍,因为有可能中途找到就可以提前结束循环了。我们可以优化下代码。
// n表示数组array长度
int find(int[] array, int n, int x) {
int pos = -1;
int i = 0;
for(; i < n; i++) {
if (array[i] == x) {
pos = i;
}
}
return pos;
}
优化完之后,复杂度还是 O ( n ) O(n) O(n) 吗?很显然,上一节课讲的分析方法,解决不了这个问题。
因为,要查找的变量 x
可能出现在数组的任何位置。如果数组中第一个元素正好是要查找的变量 x
,那就不需要再遍历剩下的 n-1
个数据了,此时时间复杂度就是
O
(
1
)
O(1)
O(1)。但如果数组中不存在变量 x
,那就需要遍历整个数组,时间复杂度就成了
O
(
n
)
O(n)
O(n)。所以,不同的情况下,这段代码的时间复杂度是不一样的。
为了表示代码在不同情况下的不同时间复杂度,我们需要引入三个概念:最好情况时间复杂度、最坏情况时间复杂度、平均情况时间复杂度。
顾名思义,最好情况时间复杂度就是,在最理想的情况下,执行这段代码的时间复杂度。就像我们刚刚讲到的,在最理想的情况下,要查找的变量 x
正好是数组的第一个元素,这个时候对应的时间复杂度就是最好情况时间复杂度。
同理,最坏情况时间复杂度就是,在最糟糕的情况下,执行这段代码的时间复杂度。就像刚举的那个例子,如果数组中没有要查找的变量 x
,我们需要把数组完整遍历一遍,所以这种最糟糕情况下对应地时间复杂度就是最坏情况时间复杂度。
平均情况时间复杂度
我们都知道,最好情况时间复杂度和最坏情况时间复杂度对应地都是极端情况下的代码复杂度,发生的概率其实并不大。为了更好地表示平均情况下的复杂度,我们需要引入另外一个概念:平均情况时间复杂度,后面我们简称为平均时间复杂度。
平均时间复杂度又该怎么分析呢?还是借助刚刚查找变量 x
的例子来给你解释。
要查找变量 x
在数组中的位置,有 n+1
种情况:在数组的 0~n-1
位置中和不在数组中。我们把每种情况下,查找需要遍历的元素个数累加起来,然后再除以 n+1
,就可以得到需要遍历元素个数的平均值,即:
1
+
2
+
3
+
⋯
+
n
+
n
n
+
1
=
n
(
n
+
3
)
2
(
n
+
1
)
\frac{1+2+3+\cdots+n+n} {n+1} = \frac{n(n+3)} {2(n+1)}
n+11+2+3+⋯+n+n=2(n+1)n(n+3)
因为数学公式 1 + 2 + 3 + ⋯ + n 1+2+3+\cdots+n 1+2+3+⋯+n 的结果为 n ( n + 1 ) 2 \frac {n(n+1)} {2} 2n(n+1)。
我们知道,时间复杂度的大 O 标记法中,可以省略掉系数、低阶、常量,所以把上面的公式简化后,得到的平均时间复杂度就是 O ( n ) O(n) O(n)。
这个结论是正确的,但是计算过程稍微有点问题。那是什么问题呢?
刚刚讲的这 n+1
种情况,出现的概率是不一样的。我们知道,要查找变量 x
,要么在数组里,要么就不在数组里。这两种情况的概率统计起来很麻烦,为了方便理解,我们假设在数组中与不在数组中的概率都为
1
2
\frac 1 2
21。另外,要查找的数据出现的在 0~n-1
这 n 个位置的概率也是一样的,为
1
n
\frac 1 n
n1。所以,根据概率乘法法则,要查找的数据出现在 0~n-1
种任意位置的概率就是
1
2
n
\frac {1} {2n}
2n1。
因此,前面的推导过程中存在的最大问题就是,没有讲各种情况发生的概率考虑进去。如果我们再把每种情况发生的概率考虑进去,那平均复杂度的计算过程就变成了这样:
1
×
1
2
n
+
2
×
1
2
n
+
3
×
1
2
n
+
⋯
+
n
×
1
2
n
+
n
×
1
2
=
3
n
+
1
4
1 \times \frac {1} {2n} + 2 \times \frac {1} {2n} + 3 \times \frac {1} {2n} + \cdots + n \times \frac {1} {2n} + n \times \frac {1} {2} = \frac {3n + 1} {4}
1×2n1+2×2n1+3×2n1+⋯+n×2n1+n×21=43n+1
这个值就是概率论中的加权平均值,也叫期望值,所以平均时间复杂度的全称应该叫加权平均时间复杂度或者期望时间复杂度。
引入概率之后,前面那段代码的加权平均值为 3 n + 1 4 \frac {3n + 1} {4} 43n+1。用大 O 表示法,去掉系数、常量、低阶,这段代码的加权平均时间复杂度仍然是 O ( n ) {O(n)} O(n)。
你可能会说,平均时间复杂度分析好复杂啊,还要涉及概率论的知识。实际上,在大多数情况下,我们并不需要区分最好、最坏、平均情况时间复杂度三种情况。向我们上篇文章举得例子那样,很多使用,我们使用一个复杂度就可以满足需求了。只有同一块的在不同的情况下,时间复杂度有量级的差距,我们才会使用三种复杂度表示法来区分。
均摊时间复杂度
接下来讲一个更加高级的概念,均摊时间复杂度,以及它对应的分析方法,摊还分析(或者叫平摊分析)。
均摊时间复杂度,听起来跟平均时间复杂度有点儿像。对于初学者来说,这两个概念确实很容易搞混。前面也说过,我们并不需要区分最坏、最好、平均三种复杂度。平均复杂度只有在某些特殊情况下才会用到,而均摊时间复杂度应用的场景比它更加特殊。
还是借助例子来讲解。
// array表示一个长度为n的数组
// 代码中的array.length就等于n
int[] array = new int[n];
int count = 0;
void insert(int n) {
if(count == array.length) {
int sum = 0;
int i = 0;
for(; i < n; i++) {
sum = sum + array[i];
}
array[0] = sum;
count = 1;
}
array[count] = val;
count++;
}
这段代表表示往数组中插入一个元素。当数组满了,我们就用 for 循环遍历数组求和,并清空数组,将求和结果放到数组的第一个位置,然后再将新的数据插入。但如果数组一开始就有空闲空间,则直接插入数据。
那这段代码的时间复杂度是多少呢?
最理想的情况下,数组中有空闲空间,我们只需要插入到数组下标为 count
的位置就可以了,所以最好的情况时间复杂度就是
O
(
1
)
O(1)
O(1)。最坏情况下,数组中没有空闲空间,需要先做一次数组的遍历求和,然后再将数据插入,所以最坏情况时间复杂度为
O
(
n
)
O(n)
O(n)。
平均时间复杂度是多少呢?答案是 O ( 1 ) O(1) O(1)。我们还是通过概率论的方法来分析。
假设数组长度是 n
,根据数据插入位置的不同,我们可以分为 n
种情况,每种情况的时间复杂度是
O
(
1
)
O(1)
O(1)。此外,还有一种额外的情况,就是在数组没有空闲空间的情况下插入一个数据,这个时候的时间复杂度是
O
(
n
)
O(n)
O(n)。而且,这 n + 1
种情况发生的概率一样,都是
1
n
+
1
\frac 1 {n+1}
n+11。所以,根据加权平均的计算方法,我们求的的平均时间复杂度就是:
1
×
1
n
+
1
+
1
×
1
n
+
1
+
⋯
+
1
×
1
n
+
1
+
n
×
1
n
+
1
=
O
(
1
)
1 \times \frac {1} {n+1} + 1 \times \frac {1} {n+1} + \cdots + 1 \times \frac {1} {n+1} + n \times \frac {1} {n+1} = O(1)
1×n+11+1×n+11+⋯+1×n+11+n×n+11=O(1)
到此为止,前面最好、最坏、平均时间复杂度的计算,理解起来都应该没有问题。但是这个例子的平均复杂度分析其实并不需要这么复杂,不需要引入概率论的知识。这是为什么呢?我们先来对比下这个 insert()
的例子和前面的 find()
例子,你会发现,这两种有很大区别。
- 首先,
find()
函数在极端情况下,复杂度才为 O ( 1 ) O(1) O(1)。但insert()
在大部分情况下,时间复杂度都为 O ( 1 ) O(1) O(1)。只有个人情况下,复杂度才比较高,为 O ( n ) O(n) O(n)。 - 其次,对于
insert()
函数, O ( 1 ) O(1) O(1) 时间复杂度的插入和 O ( n ) O(n) O(n) 时间复杂度的插入,出现的频率都非常有规律,而且有一定的前后时序关系,一般都是一个 O ( n ) O(n) O(n) 插入之后,紧跟着n-1
个 O ( 1 ) O(1) O(1) 插入操作,循环往复。
所以,针对这样一种特殊场景的复杂度分析,我们并不需要像之前讲的平均复杂度分析方法那样,找出所有输入情况以及相应的发生概率,然后再计算加权平均值。
针对这种特殊的场景,我们引入一个更加简单的分析方法:摊还分析法,通过摊还分析得到的时间复杂度我们起了个名字,叫均摊时间复杂度。
那该如何使用摊还分析法来分析算法的均摊时间复杂呢?
还是看上面的例子。每一次
O
(
n
)
O(n)
O(n) 插入之后,都跟着 n-1
次
O
(
1
)
O(1)
O(1) 的插入操作,所以把耗时多的那次操作均摊到接下来的 n-1
次耗时少的操作上,均摊下来,这一组连续的操作的时间复杂度就是
O
(
1
)
O(1)
O(1)。这就是均摊分析的大致思路。
均摊时间复杂度和摊还分析应用场景比较特殊,素以并不会经常用到。为了方便你理解和记忆,这里简单总结下它们的应用场景。
对一个数据结构进行一组连续操作中,大部分情况下时间复杂度都很低,只有个别情况下时间复杂度比较高,而且这些操作之间存在前后连贯的时序关系,这个时候就可以将这一组操作放在一块分析,看看能否将较高时间复杂度的那次操作的好是,平摊到其他那些时间复杂度较低的操作上。而且,在能够应用均摊时间复杂度分析的场合,一般均摊时间复杂度就等于最好情况时间复杂度。
尽管很多数据结构和算法都花了很大力气来区分平均时间复杂度和均摊时间复杂度,但其实我个人认为,均摊时间复杂度就是一种特殊的平均时间复杂度,我们没必要花太多精力去区分它们。你最应该掌握的是它的分析方法,摊还分析。至于分析出来的结果是叫平均还是叫均摊,这只是个说法,并不重要。
小结
本章学习了几个复杂度分析的相关概念,分别有:最好情况时间复杂度、最坏情况时间复杂度、平均情况时间复杂度、均摊时间复杂度。之所以引入这几个复杂度的概念,是因为,同一段代码,在不同的输入情况下,复杂度量级有可能是不一样的。
在引入这几个概念之后,我们可以更加全面地表示一段代码的执行效率。而且,这几个概念理解起来都不难。最好、最坏情况下的时间复杂度分析起来比较简单,但平均、均摊两个复杂度分析相对比较复杂。