多项式响应面 （PRS） 代理模型

学习目标：多项式响应面 （PRS） 代理模型

PRS通常用于工业过程优化、产品开发和质量改进等领域，其目的是在尽可能少的实验次数内，通过建立响应变量和一个或多个影响因子（自变量）之间的关系，来优化这些影响因子(找最优解，和下面的代理模型不一定完全一样看你要用代理模型干什么)。
其实PRS有不同的抽样方法(4种典型的抽样方法)，但是在surrogate assisted optimization中用不到，因为你也不能指定取哪个点。
多项式回归模型是工程中应用较广泛的代理模型(虽然PRS中多项式的阶数可以任意设置，当阶数超过3时，很容易过拟合。目前最常用的是二阶PRS)。也可以利用交叉验证PRS的阶数，防止过拟合。
先输入x和y。然后用最小二乘法(矩阵形式的)去估计出未知参数(利用误差平方和最小，对矩阵求导)，去拟合模型，最后得到一个代理模型。二阶多项式模型可表示为(泰勒级数展开式):$$\hat{y}={\beta }_0+\sum _{i=1}^d{\beta }_i{x}_i+\sum _{i=1}^d{\beta }_{ii}{x}_i^2+\sum _{i=1}^d\sum _{j<i}^d{\beta }_{ij}{x}_i{x}_j$$
${\beta }_0$ 和 ${\beta }_i$是需要估计的多项式系数; $d$是自变量的个数(影响因子个数、维度)，二次多项式的项数为 ：$n=(d+1)(d+2)/2$
用最小二乘法（LSM）估计多项式模型的未知系数 ${\beta }_0,{\beta }_i$。从原始函数(就是已知的样本或者真实的数据)中提取的样本数（N）应等于或大于系数 n(为什么不知道，有论文证明)。 $\mathrm{m}$是阶数。

(3)是范德蒙矩阵，LSM矩阵运算的时候会用到(因为用矩阵计算量小)。由(2)和(3)可以导出等价于(1)等式的矩阵形式。$$\Theta$$是未知系数矩阵。$$y=\Phi \Theta$$
LSM 算法可以计算出$$\Theta$$的估计值。$$\hat{\Theta }=({\Phi }^T\Phi {)}^{-1}{\Phi }^{T}y$$上面这个公式，是最后导出来的公式，当个结论来记就行。(省着你对公式未知系数矩阵求导，求极值得到最小误差对应的未知系数估计值)。
由于PRS具有计算成本低、结构简单、能有效滤除噪声等优点，适合处理低维非线性问题，其系数可以直接反映变量对响应值的影响。然而，PRS在处理高维复杂多变量问题时精度相对较低。