Big-O

数据结构与算法 Big-O

前言

时间复杂度和空间复杂度常被用来评价一个算法的性能。解决一个问题有很多可能的算法。越好的算法消耗的资源越少。随着内存设备的更新，评价算法效率主要考虑时间复杂度。

常将算法性能常表示为：

• worst case
• average case
• almost never the best case

Big O notation是用于描述函数渐近行为的数学符号。更确切地说，它是用另一个（通常更简单的）函数来描述一个函数数量级的渐近上界。在数学中，它一般用来刻画被截断的无穷级数尤其是渐近级数的剩余项；在计算机科学中，它在分析算法复杂性的方面非常有用。

Big-O

定义：

Given a function T(N), we say T(N)=O(f(N)) if and only if there exist constants “c”, N₀ >0 such that every N>=N₀ ,T(N)<=cf(N).

证明方法：

假设比较如下两个方程，找到C, N₀的值使得当N>=N₀时满足50N+99<=CN²

• T(N)=50N+99
• f(N)=N²
  

方法1：假设c=1，得到break-even point（N₀）

从图中可以看出，尽管 T(N) 开始时大于f(N)，但存在一个交点( break-even point )，当超过该点时 f(N) 将始终比T(N)更大。 这是找到 N₀ 的一种可能方法。
$$根据Big-O定义：T(N)<=cf(N)，假设c=1来找到break-even-point$$
$$得到：50N+99<=(1)N^2$$
$$可写成：N^2-50N-99>=0$$
$$根据一元二次不等式得到：\frac{50\pm \sqrt{50^2+4(1)(99)}}{2（1）}$$
$$N{}_0=\frac{50+\sqrt{2896}}{2}\approx 52(根据定义N{}_0>0)$$
$$得到当常数c等于1，N{}_0等于52或大于52均满足Big-O定义$$

方法2：假设N₀ ，导出不等式，得到常数c

$$50N+99=50N(1)+99(1{)}^2(keystep)$$
$$<=50N(N)+99(1{)}^2(因为N>=1)$$
$$<=50N(N)+99(N{)}^2(因为N>=1)$$
$$=149N^2$$
$$得到当常数C等于149，N_0等于1时满足Big-O定义$$

基本定理

1.N 的幂按其指数排序 (N^a=O(N^b) 当且仅当a<=b)。 例如：N² 可等于O(N³), 但N³ 不等于O(N²)

The powers of N are ordered according to their exponents.

2.对数的增长速度比 N 的任何其他正幂都慢。 例如：log₂ N=O(N^1/2)

A logarithm grows more slowly than any other positive power of N.
L’Hopital’s Rule

3.如果f(N)=O(g(N)) 并且g(N)=O(h(N)) 则 f(N)=O(h(N))。

4.f(N)+g(N)=O(max( f(N), g(N))。 例如：O(N² +N +1)=O(N²)

5.如果f₁(N)=O(g₁(N)) 并且f₂(N)=O(g₂(N)) 则 f₁(N) x f₂(N)=O(g₁(N) x g₂(N))。

6.对于任意大于0的整数C来说，Cf(N)=O(f(N))。 例如：O(100N)=O(N)

确定一个算法的时间复杂度

例题1：

以下方代码为例：

bool uniqueElements(vector<int>& A）{
   for i from 0 to N-1:
   	for j from 0 to i-1:
   		if A[i]=A[j] then
   			return false
   return true
}

• 首先找到算法中最频繁被运行的代码if A[i]=A[j]
• if A[i]=A[j] 存在于两层循环中，外层循环运行N-1次内层循环则是由外层循环的迭代变量i所决定
• 下表纵轴为 i 的迭代，横轴为 j 的迭代，阴影区域的格子数量为两层循环中if A[i]=A[j] then被运行的次数=(N² -N)/2 (总共N*N个格子减去对角线的格子并除以二）
  
• return true的时间复杂度为O(1)
• 最终得到T(N)=O(N²)+O(1)
• 根据Big-O基本定理得到：T(N)=O(N²)

例题2：

bool uniqueElements(vector<int>& A){
	mergeSort(A)
	for i from 1 to N-1:
		if A[i-1] =A[i] then
			return false
	return true
}

• 在此题中mergeSort(A)的时间复杂度为O(NlogN)
• 循环的时间复杂度O(N)
• return true的时间复杂度为O(1)
• 最终得到T(N)=O(NlogN)+O(N)+O(1)
• 根据Big-O基本定理得到：T(N)=O(NlogN)