python 最小二乘回归 高斯核_[数值计算] 数据拟合——非线性最小二乘法

前面分析了 线性最小二乘 的解法

YcoFlegs：[数值计算] 数据拟合——线性最小二乘法​zhuanlan.zhihu.com

现在来看另一个问题：非线性最小二乘法

1. 定义

首先是如何定义这里这个“非线性”。为什么前面用多项式拟合就是线性了？

对于多项式拟合，每个数据样本，误差为：

，可以看到此处误差（希望绝对值缩小到0的那个函数）和

的关系是线性的，因此这个最小二乘问题被称为

线性最小二乘。虽然

与x的关系是非线性的，最终的优化函数为

也是非线性的。

那么 非线性最小二乘 就很容易理解了，误差函数r和参数b的关系是非线性的就行了。

2. 例子——发射器位置

在一片区域里

，存在10个接收器，分别位于

，和一个无线电发射器，位置

未知。这些接收器可以测量离发射器的距离，但存在误差。

Credit to http://iacs-courses.seas.harvard.edu/courses/am205/schedule/

此时，单个接收器数据对应的误差是

。

很容易证明非线性关系，即

。