最小二乘法多元函数超曲面拟合（python）

最小二乘法多元函数超曲面拟合问题

网上很多用最小二乘法拟合曲面的问题，但是最后给的例子都是拟合高维平面，本篇文章简单介绍用最小二乘法进行曲面拟合的方法，以二元函数的曲面逼近为例，用python实现，代码在文章最后。

一、最小二乘法

首先还是对最小二乘法的原理进行简单介绍：
考虑模型：

的辨识问题，式中z(k)和h(k）都是可观测数据，θ是待估参数，取准则函数：

极小化J(θ),求得θ的估计值，将使模型的输出最好的预报系统的输出。
将上式对θ求导，然后使导数等于零的时候取得的θ值即为参数矩阵的最优解，本篇文章中从头至尾忽略噪声项e(k)。推导过程我就不写了这个到处都是，直接写结果，参数矩阵θ的最优解为：

这里面要注意括号里必须是正则矩阵（即矩阵为非奇异，行列式的值不为0）

二、在拟合曲面时输入矩阵的选取

因为这篇文章是在二元函数的曲面方程拟合的情况下，多元的道理一样，自己去写参数多项式的项就可以了。
所以先假定两个输入值是x和y，z是函数的输出，如果z=ax + by, 就是一个最普通的平面，但是当扩展到一个二次曲面的时候，曲面的一般式就变成了z = ax^2 + by^2+cxy +dx +ey+f ,更高次的也是一样。本质上就是把原本只能用来解决线性问题