非线性最小方差估计（保姆级教程）

非线性最小方差估计

学习基于：《Optimal Estimation of Dynamic Systems》

Nonlinear Least Squares Estimation（非线性最小方差估计）也称为 Gaussian least squares differential correction（高斯最小二乘微分校正），本文我将用最简单通俗的语言，抛开公式背后复杂深层的原理，以一个使用者的角度带你看待这种经典的方法。希望能帮助非此专业的人更好地从宏观上把握非线性最小方差估计，将他作为一种解决问题的工具。
先抛出一个式子：
$$\tilde{\mathbf{y}}=\mathbf{f}(\mathbf{x})+\mathbf{e}$$
这看起来很简洁的一个公式，实际上已经充分陈述了我们非线性最小方差估计要解决的问题情景：有一个系统，它的里面有一些参数$\mathbf{x}$是未知的，我们想要知道参数到底是多少，或者说至少能知道它近似是多少。然而，我们无法直接观测或者测量到$\mathbf{x}$，幸运的是，我们至少能测量到系统的输出$\mathbf{y}$。当然，我们测量到的$\mathbf{y}$与真实的$\mathbf{y}$之间有一点点误差，因为任何测量方法都不能做到100%准确。所以，为了在方程中体现这件事情，我们用$\tilde{\mathbf{y}}$表示测量到的$\mathbf{y}$；用$\mathbf{e}$表示误差。此外，每个符号都表示向量，为了用一个一维的数来综合地表示一下误差，我们可以这样子定义
$$J=\frac{1}{2}{\mathbf{e}}^{T}W\mathbf{e}$$
这样，误差就转化为一个数了，其中出现的$W$是一个所谓的权重矩阵，决定多个变量之间谁比较重要，我们学习的时候就直接按照单位阵理解就好了。

此时$\tilde{\mathbf{y}}$已经有了，为了估计出$\mathbf{x}$，一个很自然的想法就是把所有可能的$\mathbf{x}$都代进去算一下，看看什么时候能让计算出的误差$\mathbf{e}$最小，那么这个时候的$\mathbf{x}$显然是一个比较可靠的估计值。但是，在很多时候$\mathbf{x}$是有无穷多种可能的值的，我们无法把每一种可能都一一计算出来，这该怎么办呢。
$$\Delta {\mathbf{y}}_c=\tilde{\mathbf{y}}-\mathbf{f}({\mathbf{x}}_c)$$
所以，更进一步地，这里有一个更好的思路：我们先随便假设一个${\mathbf{x}}_{\mathbf{c}}$作为一个预测的$\mathbf{x}$，如果我们预测的非常准，正好就是真正的$\mathbf{x}$的值，那么上面式子里的$\Delta {\mathbf{y}}_c$就会等于0。但是往往不可能那么巧，如果不是0，我们就计算一下$\mathbf{f}(\mathbf{x})$对$\mathbf{x}$的导数
$${H\equiv \frac{\partial \mathbf{f}}{\partial \mathbf{x}}|}_{{\mathbf{x}}_c}$$
这个$H$相当有用，它的大小和方向会指示我们${\mathbf{x}}_{\mathbf{c}}$下一步应该如何调整。
有了$H$，我们就可以引入一对魔法公式，就是下面这个
$$\begin{gathered} \Delta \mathbf{x}={\left(H^{T}WH\right)}^{-1}{H}^{T}W\Delta {\mathbf{y}}_c \\ {\mathbf{x}}_{c,new}={\mathbf{x}}_c+\Delta \mathbf{x} \end{gathered}$$
这个公式指出了下一步的的${\mathbf{x}}_{\mathbf{c}}$应该如何取，接着把新算出的${\mathbf{x}}_{c,new}$代回去重新计算，又会出现下一个${\mathbf{x}}_{c,new}$，如此反复，我们会发现${\mathbf{x}}_{\mathbf{c}}$会渐渐地趋向于某个值，当循环次数足够多时，每一次迭代带来的变化会越来越小，对${\mathbf{x}}_{\mathbf{c}}$的估计也会越来越精确。
那么什么时候停止这个过程呢，还记得前面的误差$J$吗，由于计算所需要的$\mathbf{e}$不知道，我们用$\Delta {\mathbf{y}}_c$代替$\mathbf{e}$；我们可以这样认为：如果两次迭代分别算出的两个$J$几乎没有差别，就认为此时$J$已经足够小了，迭代也就差不多可以终止了，用严谨的式子表示就像下面这样
$$\delta J\equiv \frac{\left|J_i-J_{i-1}\right|}{J_i}<\frac{\epsilon }{\Vert W\Vert }$$
小于号左边表示的是后一次误差相对于前一次误差变化的百分比，小于号右边是一个很小的数$\epsilon$（自己设定的，比如0.0001）除以权重矩阵的范数。当这个式子成立的时候，迭代终止，此时最后一次计算得到的${\mathbf{x}}_{\mathbf{c}}$就被认为是对$\mathbf{x}$的最终的估计。
看看下面的这个非线性最小方差估计算法流程图，相信你会对它有更加宏观上的把握

本文从一个使用者的角度简要解读了非线性最小方差估计算法，目的在于让初次接触者以及非专业人士更轻松地了解非线性最小方差估计算法的整体。过程中省略了一些复杂的公式推导，如果你对更详细的内容感兴趣，推荐阅读《Optimal Estimation of Dynamic Systems》的第一章，书上也有一些例子，相信阅读后你会对非线性最小方差估计有更深层更本质的理解。
行文如有错误或纰漏希望指出
求赞！