最小二乘（Least Square）与多项式拟合（fitted polynomial）的理解

▤∪◍

已于 2022-10-08 13:55:52 修改

阅读量1.2k

点赞数 1

分类专栏：数学基础测绘基础文章标签：算法最小二乘多项式拟合

于 2022-09-14 14:47:37 首次发布

本文链接：https://blog.csdn.net/xys206006/article/details/126847087

版权

测绘基础同时被 2 个专栏收录

12 篇文章 2 订阅

订阅专栏

数学基础

11 篇文章 0 订阅

订阅专栏

最小二乘（Least Square）与多项式拟合（fitted polynomial）的理解

多项式：
$f(x_i)=\theta_0+\theta_1x_i+\theta_2{x_i}^2+\cdots+{\theta_n}{x_i}^n$

存在样本：
$(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)$

样本值代入多项式得方程组：
$\begin{dcases} \theta_0 + \theta_1x_1+\theta_2{x_1}^2+\cdots+\theta_n{x_1}^n=y_1 \\ \theta_0 + \theta_1x_2+\theta_2{x_2}^2+\cdots+\theta_n{x_2}^n=y_2 \\ \vdots \\ \theta_0 + \theta_1x_m+\theta_2{x_m}^2+\cdots+\theta_n{x_m}^n=y_m \end{dcases}$

$令$
$\theta = \begin{bmatrix} \theta_0 & \theta_1 & \theta_2 & \cdots & \theta_n \end{bmatrix}^T$
$A_i=\begin{bmatrix} 1 & x_i & x_i^2 & \cdots & x_i^m \end{bmatrix}$
$b_i=y_i$
$i=1，\cdots，m$

$则方程组变换为：$
$\begin{dcases} A_1\theta=b_1 \\ A_2\theta=b_2 \\ \vdots \\ A_m\theta=b_m \\ \end{dcases}$

$令$
$A=\begin{bmatrix} A_1 \\ A_2 \\ A_3 \\ \vdots \\ A_m \end{bmatrix}$
$b=\begin{bmatrix} b_1 \\ b_2 \\ b_3 \\ \vdots \\ b_m \end{bmatrix}$

方程组变换为矩阵方程式：
$A\theta=b$
$A=\begin{bmatrix} a_1 & a_2 & a_3 & \cdots & a_n \end{bmatrix} =\begin{bmatrix} 1 & x_1 & x_1^2 & \cdots & x_1^n \\ 1 & x_2 & x_2^2 & \cdots & x_2^n \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_m & x_m^2 & \cdots & x_m^n \\ \end{bmatrix}, \theta=\begin{bmatrix} \theta_0 \\ \theta_1 \\ \theta_2 \\ \vdots \\ \theta_n \end{bmatrix}, b=\begin{bmatrix} y_0 \\ y_1 \\ y_2 \\ \vdots \\ y_m \end{bmatrix}$

$考虑A\theta=b无解，需要从A的列空间中找出最接近b的向量p（p可以理解为b在A的列空间中的投影，理解如下图所示：）$

在这里插入图片描述
$如上图所示，p是b在\begin{bmatrix} a_1 & a_2 \end{bmatrix} 列空间中的投影。$
$令e=b-p，最小二乘就是找到\parallel e \parallel^2最小的点，最小二乘就是指向量长度的最小平方。$

$由上可知， p 位于 A 的列空间中，即 p 是 A 的各列的线性组合：$
$p=a_1\tilde{\theta_1} + a_2\tilde{\theta_2} + \cdots + a_n\tilde{\theta_n}$
$即A\tilde{\theta}=p有解。$

$e=b-p=b-A\tilde{\theta}$
$e 正交于 A 的列空间，存在：$
$\perp a_1,e \perp a_2,\cdots,e \perp a_n$

$\Rarr \begin{dcases} a_1^T(b-A\tilde{\theta})=0 \\ a_2^T(b-A\tilde{\theta})=0 \\ \vdots \\ a_n^T(b-A\tilde{\theta})=0 \end{dcases}$

$\Rarr \begin{bmatrix} a_1^T \\ a_2^T \\ a_3^T \\ \vdots \\ a_n^T \end{bmatrix} (b-A\tilde{\theta})= \begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}$

$\Rarr A^T(b-A\tilde{\theta})=0$
$\Rarr A^TA\tilde{\theta}=A^Tb$
$\Rarr \tilde{\theta}=(A^TA)^{-1}A^Tb$

$上述式子是\fcolorbox{red}{aqua}{矩阵法}求解推导公式。$
$此外还有\fcolorbox{red}{aqua}{正规方程法}，\fcolorbox{red}{aqua}{householderQr 分解法}，\fcolorbox{red}{aqua}{bdcSvd分解法}。$
针对最小二乘几个方法的应用情况：
Eigen 官网在 Solving linear least squares systems 章节中讨论了 SVD 分解、QR 分解和正规方程（即使用 LDLT 解法）三种方法在求解线性最小二乘问题上的差异，并指出：SVD 分解通常精度最高但速度最慢，正规方程速度最快但精度最差，QR 分解性能介于两种方法之间。相比 SVD 分解和 QR 分解，当矩阵病态时，正规方程解法所得结果将损失两倍精度。