【数据结构】算法的时间复杂度和空间复杂度

目录

1.摘要
2.如何衡量算法的好坏
3.时间复杂度
4.大O渐进表示法
5.常见时间复杂度计算举例
6.空间复杂度
7.参考文献

1.摘要

本文浅析算法的时间复杂度与空间复杂度以及它们的求解方式

2.如何衡量算法的好坏

上一节我们讲到，算法是解决特定问题时求解步骤的描述，在计算机中表现为指令的有限序列，且每条指令表示一个或多个步骤。

显然，就像求解高中数学解析几何题一样，面对同一个问题，我们可以想到许许多多的解法，有的解法寥寥数行便能计算出结果，而有的写了一页纸还不够。

显然，放到我们这边的算法身上，我们当然希望我们采用的算法能够既正确，又简洁，有很高的效率。

我们在想，究竟一个好的算法要具备怎样的条件呢？

算法是解决问题的步骤，那么，执行的步骤越短，消耗的时间就越少；另一方面，算法在计算机中表现为指令的有限序列，就需要占用存储空间，那么占用的存储空间肯定越少越好。

是不是可以称为时间效率、空间占用呢？

于是，我们便想出了几个衡量不同算法的优劣程度的指标——时间复杂度与空间复杂度。

时间复杂度衡量一个算法运行的快慢，空间复杂度衡量一个算法运行所需的额外的空间。在计算机发展的早期，存储空间很小，人们非常关注空间复杂度，而随着几十年的发展，存储空间已经足够的大了，空间复杂度便不再那么重要了。

3.时间复杂度

算法的时间复杂度在理论上是时间的函数，描述了一个算法执行所需的时间。诚然，这样是一种很直接的判断方法，但是，这就意味着我们要将算法用代码形式先实现再上机跑。另外，你有没有想过，算法运行出来的时间应该和谁去比较呢？由于硬件的不同，程序在不同电脑上运行的时间一定会有所差异。你说一直用同一台机器跑？难道全世界程序员都用一台机器吗？最后，我们怎么选择算法的测试用例呢？比如测试不同的排序算法的优劣，测试用例是10个数，基本所有排序算法都是一瞬间的事儿；那100万个数咋样？嗯，确实能够比出高下，那为什么不是200万个数呢？所以说，如何选取测试用例根本就不能达成一致。

于是乎，尽管从理论上来讲算法的时间复杂度应该是时间的函数，但在实际操作中，我们发现这样的衡量方式简直过于不切实际，都是事后诸葛亮的做法。

那我们只能采取事前分析估算法了。我们在计算机程序编制前，依据统计方法对于算法进行估算，也就是以算法中执行的基本操作的次数衡量时间复杂度。

而且，当我们在统计上述基本操作的数量时，我们也是估算，并不需要计算精确的执行次数。这就是大O渐进表示法。

哦，原来算法的时间复杂度看的不是程序运行了几分钟、几小时啊！

4.大O渐进表示法

大O符号：用来描述函数渐进行为的数学符号

推导大O阶方法：

1、用常数1取代运行时间中的所有加法常数。
2、在修改后的运行次数函数中，只保留最高阶项。
3、如果最高阶项存在且不是1，则去除与这个项目相乘的常数。得到的结果就是大O阶。

举个栗子：
假如一个算法的精确的时间复杂度是

3N^2+2N+8

那么，用大O渐进表示法则可表示为：

O(N^2)

再举个栗子：

8

怎么只有个常数8呢？
那么，常数阶的时间复杂度用大O渐进表示法则可表示为：

O(1)

我们可以看到，大O渐进表示法只留下了原表达式中导数最大的项。

另外有些算法的时间复杂度存在最好、平均和最坏情况：
最坏情况：任意输入规模的最大运行次数(上界)
平均情况：任意输入规模的期望运行次数
最好情况：任意输入规模的最小运行次数(下界)
例如：在一个长度为N数组中搜索一个数据x
最好情况：1次找到
最坏情况：N次找到
平均情况：N/2次找到
在实际中一般情况关注的是算法的最坏运行情况，所以数组中搜索数据时间复杂度为O(N)

5.时间复杂度计算举例

例一：

// 计算Func2的时间复杂度？ 
void Func2(int N)
{
	int count = 0;
	for (int k = 0; k < 2 * N; ++k) 
	{
		++count;
	}
	int M = 10; 
	while (M--) 
	{
		++count;
	}
	printf("%d\n", count);
}

例二：

// 计算Func3的时间复杂度？ 
void Func3(int N, int M)
{
	int count = 0; 
	for (int k = 0; k < M; ++k) 
	{
		++count;
	}
	for (int k = 0; k < N; ++k) 
	{
		++count;
	}
	printf("%d\n", count);
}

例三：

// 计算Func4的时间复杂度？ 
void Func4(int N)
{
	int count = 0; 
	for (int k = 0; k < 100; ++k) 
	{
		++count;
	}
	printf("%d\n", count);
}

例四：

// 计算strchr的时间复杂度？ 
// 在一个字符串内寻找一个字符
const char * strchr ( const char * str, int character );

例五：

// 计算BubbleSort的时间复杂度？ 
void BubbleSort(int* a, int n) 
{
	assert(a);
	for (size_t end = n; end > 0; --end) 
	{
		int exchange = 0; 
		for (size_t i = 1; i < end; ++i)
		{
			if (a[i - 1] > a[i]) 
			{
				Swap(&a[i - 1], &a[i]); 
				exchange = 1;
			}
		}
		if (exchange == 0) 
			break;
	}
}

例六：

// 计算BinarySearch的时间复杂度？
int BinarySearch(int* a, int n, int x)
{
	assert(a);
	int begin = 0; 
	int end = n - 1;
	while (begin < end) 
	{
		int mid = begin + ((end - begin) >> 1); 
		if (a[mid] < x) 
			begin = mid + 1;
		else if (a[mid] > x) 
			end = mid;
		else 
			return mid;
	} 
	return -1;
}

例七：

// 计算阶乘递归Fac的时间复杂度？ 
long long Fac(size_t N)
{
	if (0 == N) 
		return 1;
	return Fac(N - 1) * N;
}

例八：

// 计算斐波那契递归Fib的时间复杂度？ 
long long Fib(size_t N) 
{
	if (N < 3) 
		return 1;
	return Fib(N - 1) + Fib(N - 2);
}

答案及分析：

1. 实例1基本操作执行了2N+10次，通过推导大O阶方法知道，时间复杂度为 O(N)
2. 实例2基本操作执行了M+N次，有两个未知数M和N，时间复杂度为 O(N+M)
3. 实例3基本操作执行了10次，通过推导大O阶方法，时间复杂度为 O(1)
4. 实例4基本操作执行最好1次，最坏N次，时间复杂度一般看最坏，时间复杂度为 O(N)
5. 实例5基本操作执行最好N次，最坏执行了(N*(N+1)/2次，通过推导大O阶方法+时间复杂度一般看最坏，时间复杂度为 O(N^2)
6. 实例6基本操作执行最好1次，最坏O(logN)次，时间复杂度为 O(logN) ps：logN在算法分析中表示是底 数为2，对数为N。有些地方会写成lgN。
7. 实例7通过计算分析发现基本操作递归了N次，时间复杂度为O(N)。
8. 实例8通过计算分析发现基本操作递归了2的N次，时间复杂度为O(2^N)。

实际上，时间复杂度取决于一阶导数最大的一项：

6.空间复杂度

现在，我们喜欢用空间换取时间。空间实在是很便宜。

类比时间复杂度，空间复杂度用以衡量实现算法所需的输入、指令、变量、常量、数据操作等所占存储空间大小的函数。实际上，抛去与算法本身无关的输入，空间复杂度只考虑与算法本身有关的辅助单元的大小。

而我们在计算空间复杂度时，同样地，并不是去考虑这个算法写出来占了多少字节的空间，而是统计这个算法的变量个数，也采用大O渐进表示法。

例一：

// 计算BubbleSort的空间复杂度？
void BubbleSort(int* a, int n) 
{
	assert(a);
	for (size_t end = n; end > 0; --end)
	{
		int exchange = 0; 
		for (size_t i = 1; i < end; ++i)
		{
			if (a[i - 1] > a[i]) 
			{
				Swap(&a[i - 1], &a[i]);
				exchange = 1;
			}
		}
		if (exchange == 0) break;
	}
}

分析：
除去函数参数，为了实现算法，我们开辟了几个额外变量呢？
end、exchange、i
没了吧，那就是O(1)

例二：

// 计算Fibonacci的空间复杂度？
// 返回斐波那契数列的前n项 
long long* Fibonacci(size_t n)
{
	if (n == 0) 
		return NULL;
	long long* fibArray = (long long*)malloc((n + 1) * sizeof(long long)); 
	fibArray[0] = 0; 
	fibArray[1] = 1; 
	for (int i = 2; i <= n; ++i)
	{
		fibArray[i] = fibArray[i - 1] + fibArray[i - 2];
	} 
	return fibArray;
}

分析：
动态开辟了n+1个存放long long的空间、循环变量i
于是，O(n)

例三：

// 计算阶乘递归Fac的空间复杂度？
long long Fac(size_t N)
{
	if (N == 0) 
		return 1;
	return Fac(N - 1) * N;
}

又递归调用了N次Fac，开辟了N个栈帧，每个Fac有一个参数，那就是有开辟了N个Fac的参数
于是，O(N)

7.参考文献

1.大话数据结构 p36