多项式函数类总结

多项式函数

多项式函数类就是由多项式所构成的函数。对于一元函数来说，用一元多项式逼近的常见表达式为：
$$f(x)=a_0+a_1(x-x_0)+a_2(x-x_0{)}^2+a_3(x-x_0{)}^3+\cdots +a_n(x-x_0{)}^n+\cdots$$

其中根据维尔斯特拉斯定理和泰勒定理，我们可以得到$a_n$的表达式：
$$a_n=\frac{f^{(n)}(x_0)}{n!},n=0,1,2,\cdots ,n,\cdots$$

然而实际情况中，我们并不一定能知道$f(x)$的函数形状，所以也就无法求出$f(x)$的导数。前面的估计也就无法实施。这时候就需要使用最小二乘估计去估计模型的参数。以多元多项式函数为例：
对于多元函数，多元函数多项式为：
$$f(x|\theta )=a_0+a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n+a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{nn}{x}_n^2$$

其中函数参数包括$a_0,a_1,\cdots ,a_n,a_{11},\cdots ,a_{nn}$。此时我们使用最小化估计误差的方法来求出上述参数。此时，函数$f(x)$的估计表达式用向量乘法可以表示为：
$$f(x)=[a_0,a_1,\cdots ,a_n,a_{11},\cdots ,a_{nn}]\ast [1,x_1,\cdots ,x_n,x_1{x}_1,\cdots ,x_n{x}_n{]}^T$$

记前面的参数行向量为$\Theta$，后面的观测列向量为$\psi (x)$。那么就有：
$f(x)=\Theta \ast \psi (x)$

此时对于$m$个样本的估计误差为，其中$X_i$为第$i$个样本所对应的$[x_1,x_2,\cdots ,x_n]$，$Y_i$为第$i$个样本的实际值：
$$Error=\sum _{i=1}^m{[Y_i-f(X_i)]}^2=[Y-\Theta \ast \psi (X)]\ast [Y-\Theta \ast \psi (X){]}^T$$

其中$Y=[Y_1,Y_2,\cdots ,Y_m]$，$\psi (X)=[\psi (X_1),\psi (X_2),\cdots ,\psi (X_m)]$。然后我们的目标是最小化估计误差也就是最小化$Error$，所以用$Error$对$\Theta$求导。同时根据矩阵与向量之间的相合性。
$$\frac{\partial Error}{\partial \Theta }=[Y-\Theta \ast \psi (X)]\ast \psi (X{)}^T+\frac{\partial [Y-\Theta \ast \psi (X)]}{\partial \Theta }\ast [Y-\Theta \ast \psi (X){]}^T$$

$$\frac{\partial Error}{\partial \Theta }=2[Y-\Theta \ast \psi (X)]\ast \psi (X{)}^T$$

令$\frac{\partial Error}{\partial \Theta }=0$，可以得到：
$$Y\ast \psi (X{)}^T-\Theta \ast \psi (X)\ast \psi (X{)}^T=0$$

化简可以得到：
$$\Theta =Y\ast \psi (X{)}^T\ast (\psi (X)\ast \psi (X{)}^T{)}^{-1}$$

也就可以估计出多项式近似函数的系数。
接下来以已知函数表达式为例介绍多项式函数逼近效果，仿真函数区间为$[-10,10]$，真实函数区间为：$[-5,5]$，下方的代码表示以原函数的前$2$阶导数构成的泰勒级数来逼近原函数，也就是原函数为：
$$f(x)=\sin (x)$$

近似函数采用了：
$$f(x)=\sum _{n=0}^2\frac{f^n(x_0)}{n!}(x-x_0{)}^n$$

其中为了方便，$x_0=0$，则近似函数为：
$$f(x)=0+\frac{1}{1!}x+\frac{0}{2!}{x}^2$$

代码如下所示：

import numpy as np
import matplotlib.pyplot as plt
if __name__=='__main__':
    '''
    利用多项式函数仿真sin(x)函数，由于sin函数具有特殊的导数特性
    sin ->  cos ->  -sin    ->  -cos    ->  sin
    0   ->  1   ->  0   ->  -1  ->  0
    '''
    x=np.linspace(-10,10,1001)
    sum=np.linspace(0,0,1001)
    l=[0,1,0,-1]
    temp=1
    for k in range(3):
        if k !=0:
            temp=temp*k
            sum=sum+l[k%4]/temp*(x**k)
    ll=np.linspace(-5,5,501)
    plt.plot(ll,np.sin(ll),label='orign')
    plt.plot(x,sum,label='simul')
    plt.legend()
    plt.show()

近似结果为：

当使用前$5$阶导数时：
$$f(x)=0+\frac{1}{1!}x+\frac{0}{2!}{x}^2+\frac{-1}{3!}{x}^3+\frac{0}{4!}{x}^4+\frac{1}{5!}{x}^5$$

代码如下：

import numpy as np
import matplotlib.pyplot as plt
if __name__=='__main__':
    '''
    利用多项式函数仿真sin(x)函数，由于sin函数具有特殊的导数特性
    sin ->  cos ->  -sin    ->  -cos    ->  sin
    0   ->  1   ->  0   ->  -1  ->  0
    '''
    x=np.linspace(-10,10,1001)
    sum=np.linspace(0,0,1001)
    l=[0,1,0,-1]
    temp=1
    for k in range(6):
        if k !=0:
            temp=temp*k
            sum=sum+l[k%4]/temp*(x**k)
    ll=np.linspace(-5,5,501)
    plt.plot(ll,np.sin(ll),label='orign')
    plt.plot(x,sum,label='simul')
    plt.legend()
    plt.show()

仿真结果为：

可以看出，距离越远，偏差越大；包含的导数项阶数越大，偏差越大。为了观察效果，将仿真范围局限在$[-5.1,5.1]$，结果如下：

import numpy as np
import matplotlib.pyplot as plt
if __name__=='__main__':
    '''
    利用多项式函数仿真sin(x)函数，由于sin函数具有特殊的导数特性
    sin ->  cos ->  -sin    ->  -cos    ->  sin
    0   ->  1   ->  0   ->  -1  ->  0
    '''
    x=np.linspace(-5.1,5.1,511)
    sum=np.linspace(0,0,511)
    l=[0,1,0,-1]
    temp=1
    for k in range(6):
        if k !=0:
            temp=temp*k
            sum=sum+l[k%4]/temp*(x**k)
    ll=np.linspace(-5,5,501)
    plt.plot(ll,np.sin(ll),label='orign')
    plt.plot(x,sum,label='simul')
    plt.legend()
    plt.show()

仿真结果为：

可以看出在$0$点附近贴合的比较紧密，在偏离$0$点较远位置，偏差也比较大。这与我们学习泰勒展开时所学习的也一致，泰勒级数是局部逼近，并非全局逼近。

用连续函数进行逼近与用阶跃函数进行逼近最大的区别就是：用连续函数逼近不用划分区间。因为用阶跃函数逼近函数时，是通过划分区间后的窗口函数进行逼近的，而连续函数逼近则是从定义上进行逼近的。比如多项式函数就是所有单项式加起来的函数去逼近一个函数。而三角函数就是所有的三角函数加起来去逼近一个函数，至于一元和多元的区别，接下来进行分析。

首先看一下一元函数的多项式函数：
$$f(x)=a_0+a_1(x-x_0)+\cdots +a_n(x-x_0{)}^n+\cdots$$

多元函数的多项式函数：
$$\begin{gathered} f(x)=a_0+a_1(x_1-x_{10})+a_2(x_2-x_{20})+\cdots +a_n(x_n-x_{n0})+a_{11}(x_1-x_{10}{)}^2 \\ +a_{12}(x_1-x_{10})(x_2-x_{20})+\cdots +a_{1n}(x_1-x_{10})(x_n-x_{n0})+ \\ {a}_{21}(x_2-x_{20})(x_1-x_{10})+\cdots +a_{nn}(x_n-x_{n0}{)}^2+a_{111}(x_1-x_{10}{)}^3+\cdots \end{gathered}$$

多元单项式的样子为：
$$(x_1-x_{10}{)}^{k_1}(x_2-x_{20}{)}^{k_2}\cdots (x_n-x_{n0}{)}^{k_n}$$

一元单项式的样子为：$a_n(x_1-x_{10}{)}^n,n=Z$
一元多项式就是所有的一元单项式加起来：
$$\sum _{n=0}^{+\infty }{a}_n(x_1-x_{10}{)}^n$$

二元多项式就是所有的二元单项式加起来构成的：
$$\sum _{n_1=0}^{+\infty }\sum _{n_2=0}^{+\infty }{a}_{n_1{n}_2}(x_1-x_{10}{)}^{n_1}(x_2-x_{20}{)}^{n_2}$$

我们截取$n_1+n_2\le 1$的所有项作为近似，也就是：
$$a_{00}+a_{10}(x_1-x_{10})+a_{01}(x_2-x_{20})$$

从中可以看出有三个未定参数$a_{00},a_{01},a_{10}$。可以用$\omega x+b$表示上述方程。
如果取：$n_1+n_2\le 2$那么就有：
$$a_{00}+a_{10}(x_1-x_{10})+a_{01}(x_2-x_{20})+a_{11}(x_1-x_{10})(x_2-x_{20})$$

有四个未知参数。