数值计算之最小二乘法（3）最小二乘的矩阵解法

最新推荐文章于 2025-03-18 09:50:28 发布

原创

最新推荐文章于 2025-03-18 09:50:28 发布 · 1w 阅读

82 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #线性代数 #矩阵

本文详细探讨了最小二乘法的矩阵形式，包括Cholesky分解、QR分解和SVD在不同情况下的应用，涵盖了超定和欠定方程组的解法。重点在于理解线性方程组的列满秩、亏秩条件下的解求技巧。

数值计算之最小二乘法（3）最小二乘的矩阵解法

前言
回顾最小二乘的线性解
列满秩矩阵的最小二乘解法
- Cholesky分解求线性最小二乘解
- QR分解求线性最小二乘解
亏秩矩阵的最小二乘解法
- SVD分解求亏秩最小二乘解
补充1：超定齐次方程组的线性最小二乘解法
补充2：欠定行满秩方程组的线性最小二乘解法
后记

前言

之前将最小二乘法与线性方程组求解关联，得到了线性最小二乘的矩阵形式，以及线性最小二乘的几何意义。

本篇将介绍线性最小二乘的矩阵解法。

回顾最小二乘的线性解

对于线性超定方程组 $Ax=b,A\in R^{m\times n},m>n$ ，其最小二乘解可表示为：
$\argmin_x ||Ax-b||^2_2=\argmin_x (Ax-b)^T(Ax-b) \\ \to A^TAx=A^Tb \\ \quad \\ if \quad rank(A)=n, x=(A^TA)^{-1}A^Tb$

以上解法具有两个问题：① $A^TA$ 求逆运算的效率；② $r a n k (A) < n$ 时的最小二乘解。

首先讨论问题①。

列满秩矩阵的最小二乘解法

对于线性方程组 $Ax=b,A\in R^{m\times n},m>n,rank(A)=n$ ，有 $A^TA$ 对称且可逆。回顾矩阵分解的知识，可知 $A^TA$ 矩阵能够进行Cholesky分解和QR分解。

Cholesky分解求线性最小二乘解

通过将 $A^TA$ 分解为下三角矩阵 $L$ 的乘积 $LL^T$ ：
$A^TA=LL^T$
则可以将复杂的线性方程组求解：
$A^TAx=A^Tb$
转化为两个简单的三角线性方程组求解：
$LL^Tx=A^Tb \to L^Tx=y, Ly=A^Tb$

Cholesky分解速度很快，但精度一般，稳定性差。适合在限定时间内的大规模超定线性方程计算求解。

QR分解求线性最小二乘解

对于列满秩矩阵 $A$ 而言，可以唯一分解为正交矩阵与对角元为正的上三角矩阵的乘积：
$A=QR=Q\begin{bmatrix} R \\ 0 \end{bmatrix}$
现在考虑最小二乘法的QR分解法：
$\argmin_x ||Ax-b||^2_2=\argmin_x ||Q\begin{bmatrix} R \\ 0 \end{bmatrix}x-b|| \\ = \argmin_x ||\begin{bmatrix} R \\ 0 \end{bmatrix}x-Q^Tb||^2_2 \\ = \argmin_x ||\begin{bmatrix} Rx \\ 0 \end{bmatrix} - \begin{bmatrix} \beta_1 \\ \beta_2 \end{bmatrix}||^2_2 \\ = \argmin_x ||Rx-\beta_1||^2_2 + ||\beta_2||^2_2 \\ \iff \argmin_x ||Rx-\beta_1||^2_2 \\ \to Rx=\beta_1,x=R^{-1}\beta_1 \\ \quad \\ \begin{bmatrix} \beta_1 \\ \beta_2 \end{bmatrix} = Q^Tb$