《数据结构与算法》算法的时间复杂度和空间复杂度

1 算法效率

1.1 如何衡量一个算法的好坏

如何衡量一个算法的好坏呢？比如对于一下斐波那契数列：

long long Fib(int N)
{
  if(N < 3)
    return 1;

  return Fib(N - 1) + Fib(N - 2);
}

斐波那契数列的递归实现方式非常简洁，但是简介就一定是好的吗？我们应该如何衡量它的好坏呢？

1.2 算法的复杂度

算法在编写成可执行程序后，运行时需要耗费时间资源和空间资源。因此衡量一个算法的好坏，一般是从时间和空间两个维度来衡量的，即时间复杂度和空间复杂度。

时间复杂度主要衡量一个算法的运行快慢，而空间复杂度主要衡量一个算法运行所需要的额外空间。在计算机发展的早期，计算机的存储内容很小，所以对空间复杂度很是在乎，但是现在计算机的存储容量已经到了很高的程度，所以我们如今已经不需要再特别关注一个算法的空间复杂度了。

空间可以重复利用 但是时间只能叠加 

2 时间复杂度

2.1 时间复杂度的概念

时间复杂度的定义：在计算机科学中，算法的时间复杂度是一个函数（注意这里的函数不是指的C语言中我们所说的函数），它定量描述了该算法的运行时间。一个算法执行所消耗的时间，从理论上来说，是不能够算出来的，只有你把你的程序放在机器上跑起来才能知道。但是我们需要每个算法都上机测试吗？可以是可以，但是这样会不会太麻烦了？因此我们才有了时间复杂度这个分析方式。一个算法所花费的时间与其中语句的执行次数成正比例，算法中的基本操作的执行次数，为算法的时间复杂度。

即：找到某条基本语句与问题规模N之间的数学表达式，就是算出了该算法的时间复杂度。

//Func1中++count语句一共执行了多少次？

void Func1(int N)
{
  int count = 0;
  for(int i =0; i < N; i++)
  {
    for(int j = 0; j < N; j++)
    {
      ++count;
    }
  }

  for(int m = 0; m < 3 * N; m++)
  {
    ++count;
  }

  int n = 15;
  while(n--)
  {
    ++count;
  }

  printf("%d\n", count);
}

 Func1 执行的基本操作次数：

                                           

• N = 10          F(N) = 145
• N = 100        F(N) = 10315
• N = 1000      F(N) = 1003015

实际我们在计算时间复杂度时，我们其实并不是一定要计算精确的执行次数，而只需要大概执行次数即可，那么这里我们就要使用大O的渐进表示法。

2.2 大O的渐进表示法 

大O符号（Big O notation)：是用于描述函数渐进行为的数学符号。

推导大O阶的方法：

1. 用常数1表示运行时间中的所有加法常数。
2. 在修改后的运行次数函数中，只保留最高阶项。
3. 如果最高阶项存在且不是1，则去除与这个项目相乘的常数，得到的结果就是大O阶。

使用大O的渐进表示法以后，Func1的时间复杂度为：

                                                                         

•  N = 10       F(N) = 100
• N = 100      F(N) = 10000
• N = 1000    F(N) = 1000000

通过上面我们会发现大O的渐进表示法去掉了那些对结果影响不大的值，简单明了的表示出了执行次数。

另外有些算法的时间复杂度存在最好、平均和最坏的情况：

• 最坏的情况：任意输入规模的最大运行次数（上界）
• 平均的情况：任意输入规模的期望运行次数
• 最好的情况：任意输入规模的最小运行次数（下界）

例如：在一个长度为N的数组中搜索一个数据x

• 最坏的情况：N次找到
• 平均的情况：N/2次找到
• 最好的情况：1次找到

在实际情况下一般关注的是算法的最坏运行情况，所以数组中搜索数据时间复杂度为O(N)

2.3 常见时间复杂度的计算案例 

例一

//计算Func2的时间复杂度
void Func2(int N)
{
  int count = 0;
  for(int k = 0; k < 2*N; ++k)
  {
    ++count;
  }
  int M = 20;
  while(M--)
  {
    ++count;
  }

  printf("%d\n", count);
}

基本操作执行了2N + 20次，通过推导大O阶方法可得，时间复杂度为O(N) 

例二

//计算Func3的时间复杂度
void Func3(int N, int M)
{
  int count = 0;
  for(int k = 0; k < M; ++k)
  {
    ++count;
  }

  for(int k = 0; k < N; ++k)
  {
    ++count;
  }

  printf("%d\n", count);
}

基本操作执行了M + N次，有两个未知数M和N，时间复杂度为O(M+N) 

例三

//计算Func4的时间复杂度
void Func4(int N)
{
  int count = 0;
  for(int k = 0; k < 100; ++k)
  {
    ++count;
  }

  printf("%d\n", count);
}

 基本操作执行了100次，通过推导大O阶方法可得，时间复杂度为O(1)

例四

//计算strchr的时间复杂度
const char* strchr(const char* str, int character);

基本操作执行最好的情况是1次拿下，最坏的情况就是N次，时间复杂度一般是看最坏的情况，所以时间复杂度为O(N)

例五

//计算BubbleSort的时间复杂度
void BubbleSort(int* a, int n)
{
  assert(a);
  for(size_t end = n; end > 0; --end)
  {
    int exchange = 0;
    for(size_t i = 1; i < end; ++i)
    {
      if(a[i-1] > a[i])
      {
        Swap(&a[i-1], &a[i]);
        exchange = 1);
      }
    }
  
    if(exchange == 0)
      break;
  }
}

 基本操作执行最好的情况是N次，最坏的情况是（N*(N+1)/2次，通过推导大O阶的方法+时间复杂度一般看最坏的情况，时间复杂度为O(N^2)

例六

//计算BinarySearch的时间复杂度
int BinarySearch(int* a, int n, int x)
{
  assert(a);

  int begin = 0;
  int end = n-1;
  while(begin <= end)    //begin和end是左闭右闭区间，所以这里有=号
  {
    int mid = begin + ((end-begin)>>1);
    if(a[mid] < x)
    {
      begin = mid + 1;
    }
    else if(a[mid] > x)
    {
      end = mid - 1;
    }
    else
    {
      return mid;
    }
  }

  return -1;
}

基本操作执行最好的情况是1一次拿下，最坏则是logN次，时间复杂度为O(logN) ps:logN在算法分析中表示的是底数为2，对数为N，有些地方会写成lgN。 

例七

//计算阶乘递归Fac的时间复杂度
long long Fac(size_t N)
{
  if(0 == N)
  {
    return -1;
  }

  return Fac(N-1) + Fib(N-2);
}

通过计算分析发现基本操作递归了N次，因此时间复杂度为O(N) 

例八

//计算斐波那契递归Fib的时间复杂度
long long Fib(size_t N)
{
  if(N < 3)
  {
    return 1;
  }

  return Fib(N-1) + Fib(N-2);
}

    //Fib(N) = 2^0 + 2^1 + 2^2 + ...... + 2^(N-1) = 2^N - 1

                                                           

通过计算分析发现基本操作递归了2^N次，因此时间复杂度为O(2^N) 

总结：递归算法计算时间复杂度，每次递归子函数消耗累加起来。

3 空间复杂度 

3.1 空间复杂度的概念

空间复杂度也是一个数学表达式，是对一个算法在运行过程中临时占用存储空间大小的量度。

空间复杂度不是程序占用了多少bytes的空间，因为这个没多大意义，所以空间复杂度算的是变量的个数，空间复杂度计算规则基本跟时间复杂度类似，也使用了大O渐进表示法。

注意：函数运行时所需要的栈空间（存储参数、局部变量、一些寄存器信息等）在编译期间已经确定好了，因此空间复杂度主要通过函数在运行时申请的额外空间来确定。

3.2 常见空间复杂度的计算案例

例一

//计算BubbleSort的空间复杂度
void BubbleSort(int* a, int n)
{
  assert(a);
  for(size_t end = n; end > 0; --end)
  {
    int exchange = 0;
    for(size_t i = 1; i < end; ++i)
    {
      if(a[i-1] > a[i])
      {
        Swap(&a[i-1], &a[i]);
        exchange = 1);
      }
    }
  
    if(exchange == 0)
      break;
  }
}

 使用了常数个额外的额空间，则空间复杂度为O(1)

例二

//计算Fibonacci的空间复杂度
//返回斐波那契数列的前n项
long long* Fibonacci(size_t n)
{
  if(n == 0)
  {
    return NULL;
  }

  long long* fibArray = (long long*)malloc((n + 1) * sizeof(long long));
  fibArray[0] = 0;
  fibArray[1] = 1;
  for(int i = 2; i <= n; i++)
  {
    fibArray[i] = fibArray[i - 1] + fibArray[i - 2];
  }

  return fibArray;
}

 动态开辟了n个空间，空间复杂度为O(N)

例三

//计算阶乘递归Fac的空间复杂度
long long Fac(size_t N)
{

  if(N == 0)
  {
    return 1;
  }

  return Fac(N - 1) * N;
}

递归调用了N次，开辟了N个栈帧，每个栈帧使用了常数个空间，故空间复杂度为O(N)  

4 常见复杂度对比

		常数阶
		线性阶
		平方阶
		对数阶
		NlogN阶
		立方阶
		指数阶