GAMES102几何建模与处理（二）

一、拟合函数的“好坏”

1、 分段线性插值函数$y=f_1(x)$

1、数据误差为0。
2、函数性质不够好：只有$C^0$连续，不光滑（数值计算）
（$C^0$:几何连续性中的 $fa(x)=fb(x)$,即函数值相同，$C^n(n>0)$代表了n阶导数相同）

2、光滑插值函数$y=f_2(x)$

1、数据误差为0。
2、可能被“差数据”（噪声、outliers）带歪，导致函数性质不好、预测不可靠

3、逼近拟合函数$y=f_3(x)$

1、数据误差不为0，但足够小。

二、多项式插值定理

1、 定理

若$x_i$两两不相同，则对任意给定的$y_i$，存在唯一的次数至多是n次的多项式$p_n$，使得$p_n(x_i)=y_i,i=0,\cdots ,n$

2、证明

在幂基$1,x,x^2,\cdots ,x^n$下待定多项式p的形式为：
$p(x)=a_0+a_{1}x+a_2{x}^2+\cdots +a_n{x}^n$
由插值条件$p(x_i)=y_i,i=0,\cdots ,n$，得到方程式

系数矩阵为Vandermonde矩阵，其行列式非零，因此方程组有唯一解。（如果基函数选取不一样，，方程组的系数矩阵不一样）

3、构建方法

1、技巧一：构造插值问题的通用解

• 给定n+1个点 { ( x 0 , y 0 ) , ⋯   , ( x n , y n ) } \{(x_0,y_0),\cdots,(x_n,y_n)\} {(x0​,y0​),⋯,(xn​,yn​)}，寻找一组次数为n的多项式基函数$l_i$使得：
  $$l_i(x_j)=\{\begin{array}{l}1,i=j\\ 0,i\ne j\end{array}$$
  插值问题的解为：
  $$P(x)=y_0{l}_0(x)+y_1{l}_1(x)+\cdots +y_n{l}_n(x)=\sum _{i=0}^n{y}_i{l}_i(x)$$
• 如何计算
  n阶多项式，且有以下n个根
  $$x_0,x_1,x_2,\cdots ,x_n$$
  故可表示为：
  $l_i(x)=C_i(x-x_0)(x-x_1)\cdots (x-x_{i-1})(x-x_{i+1})\cdots (x-x_n)=C_i{\prod }_{j\ne i}(x-x_j)$
  由上面的$l_i(x_i)=1$，可得
  $1=C_i{\prod }_{j\ne i}(x_i-x_j)\Rightarrow C_i=\frac{1}{{\prod }_{j\ne i}(x_i-x_j)}$
  最终多项式基函数：
  $l_i(x)=\frac{{\prod }_{j\ne i}(x-x_j)}{{\prod }_{j\ne i}(x_i-x_j)}$，该式被称为拉格朗日多项式

2、技巧二：更方便的求解表达

• 牛顿插值：具有相同“导数”（差商）的多项式构造（n阶泰勒展开）
• 定义：
  一阶差商：$f[x_0,x_1]=\frac{f(x_1)-f(x_0)}{x_1-x_0}$
  k阶差商：
  设 { x 0 , x 1 , ⋯   , x k } \{x_0,x_1,\cdots,x_k\} {x0​,x1​,⋯,xk​}互不相同，$f(x)$关于 { x 0 , x 1 , ⋯   , x k } \{x_0,x_1,\cdots,x_k\} {x0​,x1​,⋯,xk​}的k阶差商为：
  $$f[x_0,x_1,\cdots ,x_k]=\frac{f[x_1,\cdots ,x_k]-f[x_0,x_1,\cdots ,x_{k-1}]}{x_k-x_0}$$
  牛顿多项式插值为：
  $$N_n(x_0)=f(x_0)+f[x_1,x_0](x-x_0)+\cdots +f[x_0,x_1,x_2,\cdots ,x_n](x-x_0)\cdots (x-x_{n-1})$$

4、存在的问题

• 系数矩阵过于稠密
• 依赖于基函数选取，矩阵可能病态，导致难于求解（求逆）

1、病态问题

• 输入数据的细微变化导致输出(解)的剧烈变化
• 将线性方程看成直线(超平面)
  • 当系统病态时,直线变为近似平行
  • 求解(即直线相交）变得困难、不精确
• 矩阵条件数
  $$K_2(A)=\frac{ma{x}_{x\ne 0}\frac{||A_x||}{||x||}}{mi{n}_{x\ne 0}\frac{||A_x||}{||x||}}$$
  • 等于最大特征值和最小特征值之间比例
  • 条件数大意味着基元之间有太多相关性
  • 多项式插值问题是病态的
    对于等距分布的数据点$x_i$，范德蒙矩阵的条件数随着数据点数n呈指数级增长（多项式的最高次数为n-1）

2、原因

• 幂（单项式）函数基
  1、 幂函数之间差别随着次数增加而减小
  2、不同幂函数唯一差别为增长速度（$x_i$比$x_{i-1}$增加快）

3、方法

• 使用正交多项式基

4、结论

• 多项式插值不稳定
  控制点的微小变化可导致完全不同的结果
• 振荡(Runge)现象
  多项式随着插值点数(可以是细微)增加而摆

三、多项式逼近

1、为什么

• 数据点含噪声、异常值等
• 更紧凑的表达
• 计算简单、更稳定

2、最小二乘逼近

1、 逼近问题

• 给定一组线性无关的连续函数集合 B = { b 1 , ⋯   , b n } B=\{b_1,\cdots,b_n\} B={b1​,⋯,bn​}和一组结点 { ( x 1 , y 1 ) , ⋯   , ( x m , y m ) } \{(x_1,y_1),\cdots,(x_m,y_m)\} {(x1​,y1​),⋯,(xm​,ym​)}，m>n
• 在B张成空间中哪个函数$f\in span(B)$对结点逼近？

2、最佳逼近的定义

最小二乘逼近：$$argmi{n}_{f\in span(B)}\sum _{j=1}^n(f(x_j)-y_j{)}^2$$
${\sum }_{j=1}^m(f(x_j)-y_j{)}^2={\sum }_{j=1}^m({\sum }_{i=1}^n({\lambda }_i{b}_i(x_j)-y_j{)}^2)=(M\lambda -y{)}^T(M\lambda -y)={\lambda }^T{M}^{T}M\lambda -y^{T}M\lambda -{\lambda }^T{M}^{T}y+y^{T}y={\lambda }^T{M}^{T}M\lambda -2y^{T}M\lambda +y^{T}y$

3、求解

• 关于$\lambda$的二次多项式：
  ${\lambda }^T{M}^{T}M\lambda -2y^{T}M\lambda +y^{T}y$
• 法方程
  最小解满足：
  $M^{T}M\lambda =M^{T}y$
• 提示
  最小化二次目标函数 $x^{T}Ax+b^{T}x+c$
  充分必要条件:$2Ax=-b$

四、函数空间及基空间

1、为什么使用多项式？

• 易于计算，表现良好，光滑
• 稠密行与完备性：表达能力足够

1、魏尔斯特拉斯Weierstrass定理

令f为闭区间$[a,b]$上任意连续函数，则对任意给定$\epsilon$，存在n和多项式$P_n$使得：
$|f(x)-P_n(x)|<\epsilon ,\forall x\in [a,b]$

• Weierstrass只证明了存在性。

2、用Bernstein多项式做逼近

1、 伯恩斯坦Bernstein给出了构造性证明。

• 对$[0,1]$区间上任意连续函数$f(x)$和任意正整数$n$，以下不等式对所有$x\in [0,1]$成立，$f(x)-B_{n}f(x)<\frac{9}{4}{m}_{f,n}$
• $m_{f,n}=|f(y_1)-f(y_2)|$的上下线，$y1,y2\in [0,1]$且$|y_1-y_2|<\frac{1}{\sqrt{n}}$
• $B_n(f,x)={\sum }_{j=0}^{n}f(x_j)b_{n,j}(x)$，其中$x_j$为$[0,1]$上等距采样点
• $b_{n,j}=\left(\begin{array}{c}n\\ j\end{array}\right)x^j(1-x{)}^{n-j}$为Bernstein多项式
• 具有非常好的几何意义。
  正性、权性（和为1）$\Rightarrow$凸包性
  变差缩减性
  递归线性求解方法
  细分性
  …

3、RBF插值/逼近

1、Gauss函数

• 两个参数：均值$\mu$，方差$\sigma$
  $g_{\mu ,\sigma }(x)=\frac{1}{\sqrt{2}}{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$
• 几何意义：
  均值：位置
  方差：支集宽度

2、RBF拟合

$f(x)=b_0+{\sum }_{i=1}^n{b}_i{g}_i(x)$
问题：均值和方差是否可以一起优化？

4、 从另一个角度看拟合函数

1、Gauss拟合函数

• 一般Gauss函数表达为标准Gauss函数的形式
  $g_{\mu ,\sigma }(x)=\frac{1}{\sqrt{2}}{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}=\frac{1}{\sqrt{2}}{e}^{-\frac{1}{2}(\frac{x}{\sigma }-\frac{\mu }{\sigma }{)}^2}=g_{0,1}(ax+b),a=\frac{x}{\sigma },b=\frac{\mu }{\sigma }$
  $f(x)=b_0+{\sum }_{i=1}^n{b}_i{g}_i(x)\Rightarrow w_0+{\sum }_{i=1}^n{w}_i{g}_{0,1}(a_{i}x+b_i)$(基函数是由一个基本函数通过平移和伸缩变换而来的)

2、换个方式看函数：神经网络

3、RBF神经网络

• 高维情况：RBF（Radial Basis Function），径向基函数
• 一种特殊的BP网络
  • 优化：BP算法
• 核函数思想
• Gauss函数特性：拟局部性

4、用神经网络函数来拟合数据

• 为什么能行？
  万能逼近定理：自由度足够多
• 与传统拟合一样存在同样的问题：函数个数如何选？
  调参
  

五、总结

1、一元函数的数据拟合的方法

1、到哪找？

• 确定某个函数集合（“池子”），具有某个结构容易表达（比如线性函数空间），且尽量广泛（表达能力强）

2、找哪个？

• 度量哪个函数是好的/“最好”的，定义损失函数，包括数据误差 项（逼近数据的度量）与正则项（对函数性质的度量）

3、怎么找？

• 优化求解：不同的优化方法与技巧。
  • 线性问题：解线性方程或线性方程组
  • 非线性问题：
    • 凸问题：有理论保证
    • 非凸问题：难！数值求解（ 梯度下降法、牛顿法、拟牛顿法、L‐BFGS、 … ），须选择合适初值、步长等；一般要根据具体的优化问题形式及特点来设计合适的优化方法！

六、参考和引用

[1] bilibili：GAMES102:几何建模与处理
[2] 数据拟合1.pdf