递推最小二乘推导

假设方程：，其中为系数，与可通过测量得到，我们需要通过多次观测来估计系数。

令：，，

第i次观测得到的数据为：

与，将进行转置得到：

上述数据满足

观测次总共得到的数据为：

， ，则

其中维度是：，维度是：，维度是：。

则经过次观测后，其最小二乘的解（估计值）为：

                                                          

如果观测数据不停的采集，数据量会越来越大，一直采用最小二乘进行估计会相当消耗资源，从而需要通过递推的方式不断更新。

下面将获取第次观测数据：与,来递推第次的最小二乘解：

          -----证明见附录1

由于已知

，

从而

                                                                    

由于已知

                                                         

从而

                                                         

令，，

由于：

                                                            

从而

                                                            

根据矩阵反演公式：

   ---见附录2

可以令：，，，

最后总结递推最小二乘的公式：

附录1证明：

这是因为

，

同理可知：

附录2证明反演公式：