径向基函数(RBF)代理模型

径向基函数(RBF)代理模型

RBF 模型使用一些基函数的加权和来近似问题的适应值地形图,1963 年 Davis 提出高维空间的多变量插值理论。径向基函数技术则是20世纪80年代后期，Powell在解决“多变量有限点严格(精确)插值问题”时引入的，目前径向基函数已成为数值分析研究中的一个重要领域。
在3维空间中，就相当于找一个面，让所都的点都落在这个面上。这样就可以预测未知点的值了。
假设F（X）的形式，然后求出w就知道这个函数是什么样子的了，即得到这个插值得曲面了。下面这个是不含有噪声数据的RBF模型的构建。如果是含噪声的需要，再加个多项式其实就是在主对角线加个式子(同时也可以防止过拟合，同时也可以减少基函数数量)。$$F(X)=\sum _{p=1}^P{w}_p\phi (X-X^p)$$
$X_p$可以看成是一个定点，X是一个泛源，所以他主要和X和Xp距离有关系(就是欧几里得距离即范数)，所以他应该是个旋转对称函数。把已知点带入上面的方程,得到下面的线性方程组。

令 ${\phi }_{ip}=\phi (\Vert X^i-X^p\Vert ),i=1,2,\cdots ,P,p=1,2,\cdots ,P,$则上述方程组可改写为:
令 $\mathbf{\Phi }$表示元素为${\phi }_{ip}$ 的 $P\times P$阶矩阵，W和d分别表示系数向量和期望输出向量，可以写成下面的形式。$$\Phi W=d$$式中， $\mathbf{\Phi }$称为插值矩阵。若$\mathbf{\Phi }$ 为可逆矩阵，就可以从上式中解出系数向量W，即:$$W={\Phi }^{-1}d$$用Micchelli 定理证明 $\mathbf{\Phi }$可逆，大量的基函数都满足这个定理，所以上式成立，最后得到了模型。

1. Gauss(高斯)函数：$\phi (r)=\exp (-\frac{r^2}{2{\delta }^2})$ ，r就是动点到定点的距离，高斯函数和正态分布函数形式很像，但是他不需要归一化(总和为1)所以他没有前面的那些系数。
2. Reflected sigmoidal(反演S型)函数： $\phi (r)=\frac{1}{1+\exp \left(\frac{r^2}{{\delta }^2}\right)}$
3. Inverse multiquadrics(拟多二次)函数： $\phi (r)=\frac{1}{{(r^2+{\delta }^2)}^{\frac{1}{2}}}$
   δ称为该基函数的扩展常数或宽度，径向基函数的宽度越小，就越具有选择性。所以在求w之前可以先求，对δ进行一个估计，就是用交叉估计来确定。为了最小化(预计的)模型的泛化误差。
   与PRS和Kriging相比，RBF在处理非线性问题时可以获得更好的精度。然而，对于低维线性问题，需要在RBF模型中添加线性多项式才能获得更好的结果。