RLS算法-公式初探

最新推荐文章于 2024-07-03 18:58:50 发布

天之道，利而不害

最新推荐文章于 2024-07-03 18:58:50 发布

阅读量1.1k

点赞数

分类专栏：数学文章标签：算法

本文链接：https://blog.csdn.net/oooooorz/article/details/122218523

版权

RLS算法-公式推导

不带遗忘因子的推导：递推最小二乘法推导（RLS）——全网最简单易懂的推导过程 - 阿Q在江湖的文章 - 知乎
https://zhuanlan.zhihu.com/p/111758532

对于一组观测点 $x_1, y_1)$ ， $x_2, y_2)$ ， $\cdots$ ， $x_n, y_n)$ ，用 $\hat{y} = kx + b$ 进行线性拟合，有如下优化问题：
$err_{min} = min \sum_{i=1}^n \zeta^{n - i} (\hat{y} - y_i)^2 =min \sum_{i=1}^n \zeta^{n - i} (kx_i + b - y_i)^2$
记 $\sum_{i=1}^n \zeta^{n - i} (kx_i + b - y_i)^2$ ，分别对 $k, b$ 求偏导，令其等于 $0$ ，有
$\begin{cases} \frac {\partial f } {\partial k } = \sum_{i=1}^n \zeta^{n - i} (kx_i + b - y_i)x_i = 0 \\ \quad \\ \frac {\partial f } {\partial b } = \sum_{i=1}^n \zeta^{n - i} (kx_i + b - y_i) = 0 \end{cases}$
改写成矩阵形式：
$\begin{pmatrix}\sum_{i=1}^n\zeta^{n-i}x_i^2 & \sum_{i=1}^n\zeta^{n-i}x_i \\ \quad \\ \sum_{i=1}^n\zeta^{n-i}x_i & \sum_{i=1}^n\zeta^{n-i} \end{pmatrix} * \begin{pmatrix} k \\ \quad \\ b \end{pmatrix} = \begin{pmatrix} \sum_{i=1}^n\zeta^{n-i}x_iy_i \\ \quad \\ \sum_{i=1}^n\zeta^{n-i}y_i \end{pmatrix} \tag{1}$