【初阶数据结构】一、时间复杂度与空间复杂度

一、算法效率

当我们解题时，可能会有多种算法可行，那究竟选择哪一种算法呢？哪一种算法更好呢？
其实，衡量一个算法的好坏，我们看的是这个算法的执行效率。
算法在编写成可执行程序后，运行时需要耗费时间和空间(内存) 。因此算法的效率由时间和空间两个维度来衡量，也就是本篇将要讨论的主题——时间复杂度与空间复杂度

时间复杂度主要衡量一个算法的运行快慢，而空间复杂度主要衡量一个算法运行所需要的额外空间在计算机发展的早期，计算机的存储容量很小。所以对空间复杂度很是在乎。但是经过计算机行业的迅速发展，计算机的存储容量已经达到了很高的程度。所以我们如今已经不需要再特别关注一个算法的空间复杂度。

---

二、时间复杂度

2.1 时间复杂度的概念

在计算机科学中，算法的时间复杂度是一个函数（这里的函数指的是数学里带有未知数的函数表达式），它定量描述了该算法的运行时间。但一个算法执行所消耗的时间，从理论上来说，是不能算出来的，只有将程序放在机器上跑起来才能知道，但每个机器的内存大小以及cpu的不同，所花费的时间肯定是不一样的。所以我们规定：
算法中的基本操作的执行次数，为算法的时间复杂度。

既然这样，那我们来看看下面例题实际执行了多少次（循环次数）：

void Func1(int N)
{
	int count = 0;
	//循环1
	for (int i = 0; i < N; ++i)
	{
		for (int j = 0; j < N; ++j)
		{
			++count;
		}
	}
	//循环2
	for (int k = 0; k < 2 * N; ++k)
	{
		++count;
	}
	//循环3
	int M = 10;
	while (M--)
	{
		++count;
	}
	printf("%d\n", count);
}

在循环1中执行了N * N次
在循环2中执行了2 * N次
在循环3中执行了10次
所以我们可以得到一个时间复杂度的函数式
F(N) = N*N + 2 * N + 10

从这个函数可以发现，当N越大，后两项对结果的影响就越小，所以当N足够大时F(N)的大小主要由N^2决定。实际中我们计算时间复杂度时，我们呢其实并不一定要计算精确的执行次数，而只需要大概执行次数，所以这里我们就需使用大O的渐进表示法。
接下来我们就来看看什么是大O的渐进表示法。

---

2.2 大O渐进表示法

通俗来讲其实就是估算，保留影响最大的那一项。不过我们还是来看一下精准的定义：
大O符号（Big O notation）：是用于描述函数渐进行为的数学符号。
大O渐进表示法规则：

1. 用常数1取代运行时间中的所有加法常数。（通俗理解：代码执行次数若为常数次，则时间复杂度为 O(1) ）
2. 在修改后的运行次数函数中，只保留最高阶项(通俗理解：保留影响结果最大的那一项)
3. 如果最高阶项存在且不是1，则去除与这个项目相乘的常数。得到的结果就是大O阶。 (通俗理解：若最高阶项的系数不为1，则去除这个系数)

所以使用大O的渐进表示法以后，Func1的时间复杂度为：

O(N^2)

这样我们就去掉了那些对结果影响不大的项，简洁明了的表示出了执行次数。

另外有些算法的时间复杂度存在最好、平均和最坏情况：
最坏情况：任意输入规模的最大运行次数(上界)
平均情况：任意输入规模的期望运行次数
最好情况：任意输入规模的最小运行次数(下界)
时间复杂度做的是悲观预期，所以时间复杂度看的是最坏的情况。

---

2.3 时间复杂度计算举例

从上面的描述规则，我们可能还是不大清楚如何使用大O渐进表示法表示时间复杂度的，那接下来看下面几道实例

实例1：

// 计算Func2的时间复杂度？
void Func2(int N)
{
	int count = 0;
	for (int k = 0; k < 2 * N; ++k)
	{
		++count;
	}
	int M = 10;
	while (M--)
	{
		++count;
	}
	printf("%d\n", count);
}

解析：
第一个循环执行了2 * N次，第二个循环执行了10次。
所以一共执行了 2 * N + 10次
最高阶项是2 * N，所以时间复杂度为 O(N)

---

实例2：

// 计算Func3的时间复杂度？
void Func3(int N, int M)
{
	int count = 0;
	for (int k = 0; k < M; ++k)
	{
		++count;
	}
	for (int k = 0; k < N; ++k)
	{
		++count;
	}
	printf("%d\n", count);
}

解析：
第一次循环执行了M次，第二次循环执行了N次。总共执行次数M+N次。
由于这里的M与N都是未知数，且为最高项，不知道谁大谁小，所以时间复杂度为 O(M+N)。

1. 若M远大于N，则时间复杂度为 O(M)
2. 若N远大于M，则时间复杂度为 O(N)
3. 若M与N近似(没有说明M与N的大小关系)，则时间复杂度为 O(M+N)

---

实例3：

// 计算Func4的时间复杂度？
void Func4(int N)
{
	int count = 0;
	for (int k = 0; k < 100; ++k)
	{
		++count;
	}
	printf("%d\n", count);
}

解析：
循环执行了100次
所以时间复杂度为 O(1)
O(1)不是代表算法运行一次，是常数次

---

实例4：

// 计算strchr的时间复杂度？
const char * strchr ( const char * str, int character );

解析：
strchr函数是一个库函数，功能是：在一个字符串中查找一个字符。
在一个字符串中查找一个字符，但由于每次接收的字符串的长度可能会变化，所以由于长度是未知的。在时间复杂度里未知大小，我们用N去表示。
所以时间复杂度分三种情况：
最好是1，最坏是N，平均是N/2，由于时间复杂度的计算看的是最坏的情况，所以时间复杂度是O(N)。

---

实例5：

// 计算BubbleSort的时间复杂度？
void BubbleSort(int* a, int n)
{
	assert(a);
	for (size_t end = n; end > 0; --end)
	{
		int exchange = 0;
		for (size_t i = 1; i < end; ++i)
		{
			if (a[i - 1] > a[i])
			{
				Swap(&a[i - 1], &a[i]);
				exchange = 1;
			}
		}
		if (exchange == 0)
			break;
	}
}

解析：
认真理解这段代码，我们可以知道，循环执行次数为：
(n-1)+(n-2)+ … +2+1
其实这就相当于一个等差数列求和，结果为：n * (n-1) / 2
最高阶项为：(n^2) / 2 所以时间复杂度为O(n^2)

---

实例6：

// 计算BinarySearch的时间复杂度？
int BinarySearch(int* a, int n, int x)
{
	assert(a);
	int begin = 0;
	int end = n;
	while (begin < end)
	{
		int mid = begin + ((end - begin) >> 1);
		if (a[mid] < x)
			begin = mid + 1;
		else if (a[mid] > x)
			end = mid;
		else
			return mid;
	}
	return -1;
}

这是一个二分查找算法。
这里我们需要注意一点：算时间复杂度不能只去看是几层循环，而要去看它的思想。我们二分查找算法就是，每查找一次，查找的范围缩小一半，如图：

实例7：

// 计算阶乘递归Fac的时间复杂度？
long long Fac(size_t N)
{
	if (0 == N)
		return 1;
	return Fac(N - 1) * N;
}

解析：
通过计算可知递归调用次数 ：
F(N) = N * F(N-1)
F(N-1) = (N-1) * F(N-2)
F(N-3) = (N-2) * F(N-4)
…
递归了N次，时间复杂度为O(N)

实例8：

// 计算斐波那契递归Fib的时间复杂度？
long long Fib(size_t N)
{
	if (N < 3)
		return 1;
	return Fib(N - 1) + Fib(N - 2);
}

解析：
斐波那契数：从第三项开始，每一项等于前两项之和
1，1，2，3，5，8，13…

如何计算它递归调用的次数呢？
如图：

三、空间复杂度

3.1 空间复杂度的概念

空间复杂度也是一个数学函数表达式，是对一个算法再执行过程中临时额外占用存储空间大小的量度。
空间复杂度不是程序占用了多少字节的空间，因为这个没太大意义，所以空间复杂度算的是变量的个数。
空间复杂度计算规则基本跟时间复杂度类似，也使用大O渐进表示法。

注意：函数运行时所需要的栈空间（存储参数、局部变量、一些寄存器信息等）在编译期间已经确定好了，因此空间复杂度主要通过函数在运行时候显示申请的额外空间来确定。

3.2 空间复杂度计算举例

实例1：

// 计算BubbleSort的空间复杂度？
void BubbleSort(int* a, int n)
{
	assert(a);
	for (size_t end = n; end > 0; --end)
	{
		int exchange = 0;
		for (size_t i = 1; i < end; ++i)
		{
			if (a[i - 1] > a[i])
			{
				Swap(&a[i - 1], &a[i]);
				exchange = 1;
			}
		}
		if (exchange == 0)
			break;
	}
}

解析：
计算空间复杂度算的是通过函数在运行时候显示申请的额外空间来确定。
所以这个函数额外开辟了exchange，end和i三个变量的空间，也就是常数个空间，所以空间复杂度是O(1)

实例2：

// 计算Fibonacci的空间复杂度？
// 返回斐波那契数列的前n项
long long* Fibonacci(size_t n)
{
	if (n == 0)
		return NULL;
	long long* fibArray = (long long*)malloc((n + 1) * sizeof(long long));
	fibArray[0] = 0;
	fibArray[1] = 1;
	for (int i = 2; i <= n; ++i)
	{
		fibArray[i] = fibArray[i - 1] + fibArray[i - 2];
	}
	return fibArray;
}

解析：
这个函数要求的是返回斐波那契数列的前n项，而不是计算斐波那契数列的第n个数是多少。所以实际算的是斐波那契数列的N个数的数组
这里动态申请(malloc)了一块（n+1）个大小的空间，其他都为常数个，所以空间复杂度为O(N)

实例3：

// 计算阶乘递归Fac的空间复杂度？
long long Fac(size_t N)
{
	if (N == 0)
		return 1;
	return Fac(N - 1) * N;
}

解析：
每次进行递归都需要开辟栈帧空间，我们在上面计算其时间复杂度时算出递归的次数为：
Fac(N)
Fac(N-1)
Fac(N-2)
…
Fac(1)
Fac(0)
一共N+1次，每次递归都需要开辟函数栈帧空间
所以这样一共递归开辟了N+1个函数栈帧空间，空间复杂度是O(N)。

实例4：

// 计算斐波那契递归Fib的空间复杂度？
long long Fib(size_t N)
{
	if (N < 3)
		return 1;
	return Fib(N - 1) + Fib(N - 2);
}

解析：
注意：空间是可以重复利用，不累计的；时间是一去不复返，累计的
我们在上面讲解这个函数的时间复杂度的时候，计算出它的时间复杂度是O(2^n)， 递归次数为2^(n-1)，所以就会建立 2^(n-1) 次函数栈帧吗，即空间复杂度也是O(2^n)。显然是不可能的，因为栈空间是有限的。
那这是如何计算的呢？
在这里由于空间可以重复利用的，在递归时，他首先会递归Fib(N-1)，当Fib(N-1)递归完成返回之后，它递归所创建的空间就会被销毁，然后再去递归Fib(N-2)，以此类推，所以它每次递归开辟的栈帧空间是利用同一块空间，最多利用N个函数栈帧的空间。
所以空间复杂度是O(N)。