时间复杂度和空间复杂度

一、为什么要研究时间和空间复杂度

    假设计算机是无限快的并且计算机存储器是免费的的，你还有什么理由来研究算法吗？即使只是因为你还想证明你的解法会终止并以正确的答案终止，那么回答也是肯定的。
    如果计算机无限快，那么用于求解某个问题的任何正确的方法都行。也许你希望你的实现在好的软件工程实践的范围内（例如，你的视线应该具有良好的设计与文档），但是你最常使用的是最容易实现的方法。
    当然，计算机也许是快的，但它们不是无限快。存储器也许是廉价的，但不是免费的。所以计算时间是一种有限资源，存储器中的空间也一样。你应该明智地使用这些资源，在时间或空间方面有效的算法将帮助你这样使用资源。

效率

    为求解相同问题而设计的不同于算法在效率方面常常有显著的差别。这些差别可能比由于硬件和软件造成的差别要重要得多。

算法的效率主要由以下两个复杂度来评估：

时间复杂度：评估执行程序所需的时间。可以估算出程序对处理器的使用程度。
空间复杂度：评估执行程序所需的存储空间。可以估算出程序对计算机内存的使用程度。

二、时间复杂度

1、时间频度：一个算法执行所消耗的时间，理论上是不容易算出来的，必须上机运行进行测试才知道。但是由于时间和其他条件限制，我们也不可能把每个算法都上机运行一下，费力费时。我们只需要知道哪个算法的用的时间多，哪个用的时间少就可以了。并且一个算法的的话费时间与语句运行次数成正比，哪个算法执行语句多那么所用时间就多；一个算法中的语句执行次数称为语句频度或时间频度，记为 T(n)。

2、时间复杂度：时间频度T(n)中，n称为问题的规模，当n不断变化时，时间频度T(n)也会跟着变化；但有时我们想知道它的变化成怎样的趋势时或者有什么样的规律。为此，引入了时间复杂度的概念。一般情况下，算法中基本操作的重复执行的次数是问题规模n的某个函数，用 T(n)表示；若有某个辅助函数 f(n),使得当n趋近于无穷大时，T(n)/f(n) 的极限值为不等于0的常数，则称为f(n)是T(n)的同数量级函数，记做T(n)=O(f(n)),称O(f(n))为算法的渐近时间复杂度，简称时间复杂度。
时间频度不同但复杂度有可能相同，如：T(n) = n^2+2 T(n) = 3n2;频度不同但是时间复杂度相同，都是O( n^2);

常见时间复杂度的比较

常见的时间复杂度函数相信大家在大学中都已经见过了，这里也不多做解释了：

O(1)<O(logn)<O(n)<O(nlogn)<O(n²)<O(n³)<O(2ⁿ)<O(n!)

3、最坏时间复杂度、平均时间复杂度

• 最坏时间复杂度
  最坏时间复杂度指：运行时间最长的算法的时间复杂度，也就是算法的上界，一般没有特指我们讨论的时间复杂度就是指最坏时间复杂度，不管这个问题有多少种思路解决，它的算法运行时间不会超过这个时间上限。
• 平均时间复杂度
  是指所有可能的输入实例均以等概率出现的情况下，算法的期望运行时间。（疑问）
• 最好时间复杂度 运行时间最少，也可以理解为问题最优解；

三、空间复杂度

是指一个程序运行所需内存空间的大小，利用程序的空间复杂度可以对程序运行所需要的内存大多少有个预估判断。一个程序的执行除了所需要的存储空间和存储本身所使用的指令、常数、变量和输入数据外，还需要一些对数据进行操作的工作单元和存储一些为现实计算所需信息的辅助空间。程序执行时所需存储空间包括两部分：

• 固定部分：这部分空间的大小与输入、输出的数据的个数多少、数值无关，主要包括指令空间(代码空间)、数据空间(常量、变量)等所占用的空间，这部分属于静态空间。
• 可变空间：这部分空间主要包括动态分配的空间，以及递归栈所需的空间等，这部分的空间大小与算法有关。一个算法所需的存储空间用f(n)表示，S(n)=O(f(n)),其中n为问题的规模，S(n)表示空间复杂度。

四、常用的算法的时间复杂度和空间复杂度