4.2非线性最小二乘法：NLS

当退化模型可以写成未知参数的线性结合的形式时，去找到未知参数的回归过程就被称为是线性最小二乘法；当退化模型的参数是模型参数的非线性结构时，这回归过程被称为非线性最小二乘法。换句话说，与模型参数或系数有关的退化模型的偏导数是模型参数的函数时就为非线性最小二乘法。式4.2关于参数b的偏导数是
此处偏导数任然与b相关。例如，在线性模型中，式2.9的偏导数为

它们关于参数的偏导数只与输入t相关。
NLS发现模型参数的方法和最小二乘法相同，就是通过最小化误差平方和SSe，但是加权的误差平方和被认为是一种普遍的逼近方法针对非线性二乘法。

上式为4.3，式中wk2 是在测量点yk处的权重，W 是对角矩阵，是对角元素为1/wk2的对角矩阵的逆矩阵。zk是针对退化模型的仿真输出。当针对所有的测量值，所有的权重都相同时，W能被认为是一个常数，而且能被忽略，因为在最小化寻找参数的过程没有任何影响。对于这种情况，式4.3与式2.6的形式相同。在本节内容中，我们假设wk2是个常数，可以通过式2.8中的估计的数据的噪声方差确定。
在非线性最小二乘法的例子中，

式2.6是形式为上的二次方程。并且能够找到全局最优解。比如对于一个参数情况下的抛物线，则全局最优解在梯度为零的地方。零-导数的条件变成了含未知参数线性方程组。因此，通过解决该线性方程组可以得到最优参数解。之后，式2.8就是全局最优解的一般形式。
另一方面，对于非线性最小二乘法，在式4.3中的z不再是未知参数的线性组合，并且零导条件
也不能用线性方程组来表示，如式2.7.
对于这样的情况，参数不得不利用优化方法的迭代过程来决定。这里有几个算法，L-M算法结合了梯度下降法和高斯牛顿法是常用的方法，在本章将会用到这个方法。优化方法具体的细节不在本章中介绍，我们用matlab的函数lsqnonlin来代替。在下一字节中，使用L-M方法的matlab函数的参数估计过程将会介绍。
一般来说，优化过程是确定，这意味着该过程产生一组参数的值以来最小化误差平方和。然而，优化参数依赖于测量数据，这包含着测量的可变性。因此，如果不同的数据集被使用，优化参数就会被改变。这就是估计参数有不确定性。在非线性最小二乘法中，参数估计的不确定性能被估计，通过下式给出的方差。

在该式中，J是雅可比矩阵，和在式2.5（针对线性问题）中的设计矩阵一样扮演着同样的角色。
ny是测量数据的数量，np是参数的数量。
为了让接下来计算更加简单，假设各测量点误差的大小都相同。之后，wk2变成了常数，并且和式2.18中的测量数据的噪音方差相同。换而言之，
最终，式4.4能被写成

推导过程即注意取逆的公式即可
一旦模型参数和它的方差被获得了，基于多元 t-random参数的分布同样的能获得（见2.4节的2.6例能了解得更多）。对于雅可比矩阵，当没有解析表达式的时，通过数值逼近来获得计算。在本书中，我们利用lsqonlin函数的提供的雅可比矩阵。基于估计参数的例子来 预测退化和RUL（在2.3和2.4节详细说明了)。