时间复杂度与空间复杂度

同一个问题，不同的算法可能用不同的时间、空间或效率来完成同样的任务
一个算法的优劣可用 时间复杂度和空间复杂度两种来衡量；

---

---

常用算法的时间和空间复杂度

排序法	最差时间分析	平均时间复杂度	稳定度	空间复杂度
冒泡排序	$O(n^2)$	$O(n^2)$	稳定	$O(1)$
快速排序	$O(n^2)$	$O(n*log_2 n)$	不稳定	$O(log_2 n)~O(n)$
选择排序	$O(n^2)$	$O(n^2)$	稳定	$O(1)$
二叉树排序	$O(n^2)$	$O(n*log_2 n)$	不一定	$O(n)$
插入排序	$O(n^2)$	$O(n^2)$	稳定	$O(1)$
堆排序	$O(n*log_2 n)$	$O(n*log_2 n)$	不稳定	$O(1)$
希尔排序	$O$	$O$	不稳定	$O(1)$

时间复杂度

概念

算法的时间复杂度是一个函数，它定量描述了该算法的运行时间，时间复杂度用大O表述。(大O表示只是说有上界)一般来讲，一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。

一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。

在计算时间复杂度时，先找出算法的基本操作，然后根据相应的各语句确定它的执行次数，再找出$T(n)$的同数量级（它的同数量级有：$log_2 n$、$n$ 、$nlog_2 n$、$n^2$ 、$n^3$ 、$2^n$、$n!$ ），找出$f(n) = 该数量级$。若$lim T(n)/f(n)$求极限可得常数c，则时间复杂度$T(n) = O(f(n))$

常见时间复杂度
按数量级递增排列：
常数阶 ： $O(1)$
对数阶 ： $O(log_2 n)$
线性阶 ：$O(n)$ —————– #一阶时间复杂度
线性对数阶 ： $O(nlog_2 n)$
平方阶 ： $O(n^2)$
立方阶 ： $O(n^3)$
…
k次方阶 ： $O(n^k)$
指数阶 ： $O(2^n)$

除了常数阶以外，对数阶$O(log_2 n)$、线性对数阶$O(nlog_2 n)$效率最高

算法举例

1、

for（i=1;i<=n;++i）
  {
     for(j=1;j<=n;++j)
     {
         c[ i ][ j ]=0; //该步骤属于基本操作 执行次数：n^2
          for(k=1;k<=n;++k)
               c[ i ][ j ]+=a[ i ][ k ]*b[ k ][ j ]; 
               //该步骤属于基本操作 执行次数：n^3
     }
  }

则有 $T(n) = n^2+n^3$，根据上面括号里的同数量级，我们可以确定 $n^3$为$T(n)$的同数量级。
则有$f(n) = n^3$，然后根据$T(n) / f(n)$求极限可得到常数c
则该算法的 时间复杂度：$T(n) = O(n^3)$

2、

sum=0；                 （一次）
for(i=1;i<=n;i++)       （n次 ）
    for(j=1;j<=n;j++) （n^2次 ）
    sum++；       （n^2次 ）

解：T(n)=2n^2+n+1 =O(n^2)

3、

for (i=1;i<n;i++)
    {
        y=y+1;          # (n-1次)   
        for (j=0;j<=(2*n);j++)       
           x++;          #  (n-1)*(2n+1)=2n^2-n-1  次
    }        

解：      f(n)=2n^2-n-1+(n-1)=2n^2-2
          该程序的时间复杂度T(n)=O(n^2).

3、

a=0;
b=1;                  #前两句各1次，共两次
for (i=1;i<=n;i++)    # n 次
{  
    s=a+b;　　　　# n-1次
    b=a;　　　　　# n-1次
    a=s;　　　　　# n-1次
}

 T(n)=2+n+3(n-1)=4n-1=O(n).

4、

i=1;                # 频度为1
while (i<=n)        #频度为f(n)    2^f(n)<=n;  f(n)<=log2n
    i=i*2; 

解：       取最大值f(n)= log2n,
          T(n)=O(log2n )

5、

 for(i=0;i<n;i++)
{  
    for(j=0;j<i;j++)  
    {
        for(k=0;k<j;k++)
            x=x+2;           
    }
}

解：当i=m, j=k的时候,内层循环的次数为k当i=m时, j 可以取 0,1,…,m-1 , 所以这里最内循环共进行了0+1+…+m-1=(m-1)m/2次所以,i从0取到n, 则循环共进行了: 0+(1-1)*1/2+…+(n-1)n/2=n(n+1)(n-1)/6所以时间复杂度为O(n^3).

常用排序算法简要说明

名称	复杂度	说明	备注
冒泡排序	$O(n^2)$	将待排序的元素看作是竖着排列的“气泡”，较小的元素比较轻，从而要往上浮
快速排序	$O(n^2)$	先选择中间值，然后把比它小的放在左边，大的放在右边（具体的实现是从两边找，找到一对后交换）。然后对两边分别使用这个过程（递归）。
选择排序	$O(n^2)$	首先在未排序序列中找到最小元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小元素，然后放到排序序列末尾。以此递归。
箱排序	$O(n)$	设置若干个箱子，把关键字等于 k 的记录全都装入到第k 个箱子里 ( 分配 ) ，然后按序号依次将各非空的箱子首尾连接起来 ( 收集 ) 。	分配排序的一种：通过” 分配 ” 和 ” 收集 ” 过程来实现排序。
插入排序	$O(n^2)$	逐一取出元素，在已经排序的元素序列中从后向前扫描，放到适当的位置	起初，已经排序的元素序列为空
堆排序	$O(n*log_2 n)$	利用堆（heaps）这种数据结构来构造的一种排序算法。堆是一个近似完全二叉树结构，并同时满足堆属性：即子节点的键值或索引总是小于（或者大于）它的父节点。	近似完全二叉树
希尔排序	O(n1+￡) 0<￡<1	选择一个步长(Step) ,然后按间隔为步长的单元进行排序.递归,步长逐渐变小,直至为1.

空间复杂度

类似于时间复杂度，一个算法的空间复杂度(Space Complexity)$S(n)$定义为该算法所耗费的存储空间，它也是问题规模n的函数，对一个算法在运行过程中临时占用存储空间大小的量度。

一个算法在计算机存储器上所占用的存储空间，包括：
- 存储算法本身所占用的存储空间
与算法书写的长短成正比，要压缩这方面的存储空间，就必须编写出较短的算法

• 算法的输入输出数据所占用的存储空间
  是由要解决的问题决定的，是通过参数表由调用函数传递而来的，它不随本算法的不同而改变。

• 算法在运行过程中临时占用的存储空间
  随算法的不同而异
  有的算法只需要占用少量的临时工作单元，而且不随问题规模的大小而改变，我们称这种算法是“就地\”进行的，是节省存储的算法；
  有的算法需要占用的临时工作单元数与解决问题的规模n有关，它随着n的增大而增大，当n较大时，将占用较多的存储单元，例如快速排序和归并排序算法就属于这种情况。

• 当一个算法的空间复杂度为一个常量，即不随被处理数据量n的大小而改变时，可表示为$O(1)$；
• 当一个算法的空间复杂度与以2为底的n的对数成正比时，可表示为$O(log_2 n)$；
• 当一个算法的空间复杂度与n成线性比例关系时，可表示为$O(n)$。