第一节课 NLP介绍

第一节课 NLP介绍

1. NLP=NLU(understanding)+NLG(generation)
2. Master Theorem

$$\begin{gathered} T(n)=aT(n/b)+f(n) \\ ifO(n^{lo{g}_{b}a})>f(n)\Rightarrow O(n^{lo{g}_{b}a}) \\ ifO(n^{lo{g}_{b}a})=f(n)lo{g}^{k}n\Rightarrow O(n^{lo{g}_{b}a}lo{g}^{k+1}n) \\ ifO(n^{lo{g}_{b}a})<f(n)\Rightarrow f(n) \end{gathered}$$

3. 归并排序（merge sort）

$$\begin{gathered} T(n)=2T(n/2)+n \\ a=2,b=2,f(n)=n \\ k=0\Rightarrow O(nlogn) \end{gathered}$$

代码实现：

import math

def mergeSort(arr):
    if len(arr) < 2:
        return arr
    mid = math.floor(len(arr)/2)
    left = arr[0:mid]
    right = arr[mid:]
    return merge(mergeSort(left), mergeSort(right))

def merge(left, right):
    res = []
    while left and right:
        if left[0] <= right[0]:
            res.append(left.pop(0))
        else:
            res.append(right.pop(0))
    while left:
        res.append(left.pop(0))
    while right:
        res.append(right.pop(0))
    return res

# 按装订区域中的绿色按钮以运行脚本。
if __name__ == '__main__':
    arr = [3,1,2,9,4,7,5,6]
    print(mergeSort(arr))

4. 递归复杂度分析

斐波那契数列：$f(n)=f(n-1)+f(n-2),f(1)=1,f(2)=1$

时间复杂度：（树）$O(2^n)$

空间复杂度：（入栈，出栈）$O(n)$

斐波那契数列动态规划代码：

def fib(n):
    f1 = 1
    f2 = 1
    res = 1
    for i in range(2,n):
        res = f1 + f2
        f2 = f1
        f1 = res
    return res

if __name__ == '__main__':
    n = 10
    print(fib(n))

原创通项公式求法（参考斐波那契数列通项的两种求法_斐波那契数列通项公式_cyzhou1221的博客-CSDN博客）

数学原理：
$$\left(\begin{array}{c}f(n)\\ f(n-1)\end{array}\right)=\left(\begin{array}{cc}1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{c}f(n-1)\\ f(n-2)\end{array}\right)={\left(\begin{array}{cc}1& 1\\ 1& 0\end{array}\right)}^{n-1}\left(\begin{array}{c}1\\ 0\end{array}\right)$$
$f(n)$是$A^{n-1}$首行首列的元素

第一种方法：
$$A=VD{V}^{-1}$$
第二种方法：直接求$A^{n-1}$

先考虑$x^n$的快速算法，将n用二进制进行表示：
$$\begin{gathered} n=d_k{2}^k+d_{k-1}{2}^{k-1}+\cdots +d_0 \\ {x}^n=x^{d_k{2}^k}{x}^{d_{k-1}{2}^{k-1}}\cdots x^{d_0} \\ {d}_i=0\Rightarrow x^{d_i{2}^i}=1 \\ {d}_i=1\Rightarrow x^{d_i{2}^i}=x^{2^i}=x^{i-1}{x}^{i-1} \end{gathered}$$
代码实现：

def pow(x, n):
    res = 1.0
    x_t = x
    n_t = int(n)
    while n_t > 0:
        if n_t % 2 == 1:
            res = res * x_t
        x_t = x_t * x_t
        n_t = n_t // 2
    return res

if __name__ == '__main__':
    print(pow(3.1, 10))

求$A^{n-1}$：

def fibs(n):
    res = np.eye(2)
    x = np.array([[1,1],[1,0]])
    n_t = int(n-1)
    while n_t > 0:
        if n_t % 2 == 1:
            res = np.dot(res, x)
        x = np.dot(x, x)
        n_t = n_t // 2
    return res[0][0]

if __name__ == '__main__':
    print(fibs(10))