RLS带遗忘因子的递归最小二乘法

递归最小二乘（Recursive Least Squares, RLS）算法是一种自适应滤波算法，用于在线估计动态系统的参数。它是一种最小化误差平方和的算法，并且可以递归地更新估计值，而不需要存储历史数据。

1 系统模型

假设系统模型为线性回归模型：
$$z(k)=\phi (k{)}^T\theta +v(k)$$
其中：

• $z(k)$ 是时刻 $k$ 的输出。
• $\phi (k)$ 是时刻 $k$ 的输入向量。
• $\theta$ 是参数向量。
• $v(k)$ 是噪声项，假设为高斯白噪声。

2 目标函数

递归最小二乘算法的目标是最小化预测误差的加权平方和：
$$J(\theta )=\sum _{i=1}^k{\lambda }^{k-i}[z(i)-\phi (i{)}^T\theta {]}^2$$
其中：

• $\lambda$ 是遗忘因子，通常在 0 到 1 之间，用于控制历史数据的权重。

3 递归更新

为了递归更新参数估计 $\hat{\theta }(k)$ 和误差协方差 $P(k)$，我们首先对目标函数 $J(\theta )$ 进行最优化。

3.1 参数更新

我们首先对代价函数 $J(\theta )$ 关于参数向量 $\theta$ 进行求导，并令导数为零，以找到最小化代价函数的参数估计。

对 $J(\theta )$ 关于 $\theta$ 的导数为：
$$\frac{\partial J(\theta )}{\partial \theta }=-2\sum _{i=1}^k{\lambda }^{k-i}\phi (i)[z(i)-\phi (i{)}^T\theta ]$$

令导数为零，得到：
$$\sum _{i=1}^k{\lambda }^{k-i}\phi (i)[z(i)-\phi (i{)}^T\theta ]=0$$

将上式重新组织，得到：
$$\sum _{i=1}^k{\lambda }^{k-i}\phi (i)z(i)=\sum _{i=1}^k{\lambda }^{k-i}\phi (i)\phi (i{)}^T\theta$$

解得 $\theta$ 为：
$$\theta (k)={\left(\sum _{i=1}^k{\lambda }^{k-i}\phi (i)\phi (i{)}^T\right)}^{-1}\sum _{i=1}^k{\lambda }^{k-i}\phi (i)z(i)$$

3.2 递归形式

为了简化计算，我们引入 $P(k)$ 作为 $\theta (k)$ 的估计误差协方差矩阵的逆。那么，我们有：
$$P(k)={\left(\sum _{i=1}^k{\lambda }^{k-i}\phi (i)\phi (i{)}^T\right)}^{-1}$$

参数更新可以表示为：
$$\hat{\theta }(k)=\hat{\theta }(k-1)+P(k)\phi (k)[z(k)-\phi (k{)}^T\hat{\theta }(k-1)]$$

3.3 误差协方差更新

误差协方差的更新公式可以表示为：
$$P(k)=\frac{1}{\lambda (k)}\left[P(k-1)-P(k-1)\phi (k)\phi (k{)}^{T}P(k-1)\lambda (k)\right]$$

为了简化，我们定义增益向量 $y(k)$ 为：
$$y(k)=P(k-1)\phi (k){\left[\phi (k{)}^{T}P(k-1)\phi (k)+\lambda (k)\right]}^{-1}$$

那么，误差协方差的更新公式可以简化为：
$$P(k)=\frac{1}{\lambda (k)}\left[I-y(k)\phi (k)\right]P(k-1)$$

• $\hat{\theta }(k)$ 是时刻 $k$ 的参数估计。
• $P(k)$ 是时刻 $k$ 的误差协方差矩阵的逆。
• $y(k)$ 是增益向量，用于调整输入向量 $ \varphi(k) $ 对参数估计的影响。

这些递归公式允许算法在每个时间步更新参数估计，而不需要存储整个历史数据，从而实现高效的在线参数估计。

4 总结

RLS 最重要的：
$$\hat{\theta }(k)=\hat{\theta }(k-1)+y(k)[z(k)-\phi (k{)}^T\hat{\theta }(k-1)]$$
$$y(k)=P(k-1)\phi (k){\left[\phi (k{)}^{T}P(k-1)\phi (k)+{\lambda }^{-1}\right]}^{-1}$$
$$P(k)={\left[P(k-1{)}^{-1}+{\lambda }^{-1}\phi (k)\phi (k{)}^T\right]}^{-1}$$

这些递归公式允许算法在每个时间步更新参数估计，而不需要存储整个历史数据，从而实现高效的在线参数估计。