假设方程:,其中为系数,与可通过测量得到,我们需要通过多次观测来估计系数。
令:,,
第i次观测得到的数据为:
与,将进行转置得到:
上述数据满足
观测次总共得到的数据为:
, ,则
其中维度是:,维度是:,维度是:。
则经过次观测后,其最小二乘的解(估计值)为:
如果观测数据不停的采集,数据量会越来越大,一直采用最小二乘进行估计会相当消耗资源,从而需要通过递推的方式不断更新。
下面将获取第次观测数据:与,来递推第次的最小二乘解:
-----证明见附录1
由于已知
,
从而
由于已知
从而
令,,
由于:
从而
根据矩阵反演公式:
---见附录2
可以令:,,,
最后总结递推最小二乘的公式:
附录1证明:
这是因为
,
同理可知:
附录2证明反演公式: