算法复杂度

Merge Sort问题

要求将A列表进行排序操作(假设该排序算法的复杂度为$T(n)$)，那么可以将其对半分，分成子问题1(复杂度为$T(\frac{n}{2})$)和子问题2(复杂度为$T(\frac{n}{2})$)，然后将子问题1和子问题2中的元素一个一个对比，最终得到最后的排序复杂度为$O(n)$，如果是分成三个子问题，复杂度为$O(2n)$，因为这里经过了2次对比操作。
因此分成2次的结果为$T(n)=T(\frac{n}{2})+T(\frac{n}{2})+n$

Master Theorem(主定理分析)
假设某个递归算法的时间复杂度递归公式为：$T(n)=aT(\frac{n}{b})+f(n)$
(此处只是作为算法复杂度的分析，数学上并不严格)
1.若$O(n^{lo{g}_{b}a})>f(n)$，算法复杂度则为$O(n^{lo{g}_{b}a})$
2.若$O(n^{lo{g}_{b}a})=f(n)$，算法复杂度则为$O(n^{lo{g}_{b}a}logn)$
3.若$O(n^{lo{g}_{b}a})<f(n)$，算法复杂度则为$O(f(n))$
例子1:
$T(n)=3T(\frac{n}{2})+n^2$
此时$a=3,b=2,f(n)=n^2$
$n^{lo{g}_b^a}=n^{lo{g}_{2}3}=n^{1.6}<n^2$
$T(n)=O(n^2)$
例子2:
$T(n)=4T(\frac{n}{2})+n^2$
此时$a=4,b=2,f(n)=n^2$
$n^{lo{g}_b^a}=n^{lo{g}_{2}4}=n^2=n^2$
$T(n)=O(n^{2}logn)$

Fibonanci number(斐波那契数)
序列为1,1,2,3,5,8,13,21,… 问题：怎么求出序列中第N个数，
$T(n)=T(n-2)+T(n-1)$
1.递归求解

def fib(n):
    # base case
    if n < 3:
        return 1
    return fib(n-2)+fib(n-1)

时间复杂度为$O(2^n)$

空间复杂度：$O(n)$

2.循环求解
时间复杂度为$O(n)$，空间复杂度为$O(n)$

import numpy as np

def fib(n):
    tmp = np.zeros(n)
    tmp[0] = 1
    tmp[1] = 1
    for i in range(2,n):
        tmp[i] = tmp[i-2]+tmp[i-1]
    return tmp[n-1]

3.循环求解
$$\left(\begin{array}{c}f(n)\\ f(n-1)\end{array}\right)=\left(\begin{array}{cc}1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{c}f(n-1)\\ f(n-2)\end{array}\right)=\cdots ={\left(\begin{array}{cc}1& 1\\ 1& 0\end{array}\right)}^{n-2}\left(\begin{array}{c}f(2)\\ f(1)\end{array}\right)$$
因而计算f(n)就简化为了计算矩阵的(n-2)次方，而计算矩阵的(n-2)次方，我们又可以进行分解，即计算矩阵(n-2)/2次方的平方，逐步分解下去，由于折半计算矩阵次方，因而时间复杂度为O(log n)