最小二乘以及最小二乘求解超定方程组最优解的推导

最新推荐文章于 2024-10-27 22:52:15 发布

何灵均

最新推荐文章于 2024-10-27 22:52:15 发布

阅读量9.7k

点赞数 2

文章标签：最小二乘法超定方程组 matlab

本文链接：https://blog.csdn.net/sunny_raining/article/details/95938421

版权

本文介绍了最小二乘法在解决超定方程组问题中的推导过程，通过求导和投影矩阵两种方法来求解最优解。详细解释了误差最小化的数学原理，并给出了A^T AX = A^T b的解决方案，最终得出X = (A^T A)^(-1)A^T b。此外，还讨论了投影向量和平面对误差的影响，以及如何通过矩阵运算找到最优解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

~~~~ 这里写自定义目录标题

采用求导的方法
采用投影矩阵的方法
举例实现

采用求导的方法

偶尔看到斯坦福吴恩达教授的机器学习第二节课，才明白了最小二乘的的推理过程，下面的推理看不懂的话，推荐去看一下老师的上课视频。

以下是一些预备知识：
在本文中 $\nabla$ 表示的是求导运算，设A是一个 n $\times$ n的矩阵，f表示一种函数关系，则 $\nabla$ A f(A) =
$KaTeX parse error: Can't use function '$' in math mode at position 18: …begin{pmatrix} $̲\partial$ f/ $\…$

A、B、C均为矩阵：
tr(ABC) = tr(CAB) = tr(BCA)
$\nabla$ A tr(AB) = B^T
trA = tr(A^T)
$\nabla$ A tr(ABA^T C) = CAB + C^T A B^T
a表示一个实数，tra = a

超定方程组表示为：AX = b
误差为：AX-b
误差最小二乘为： $KaTeX parse error: Expected 'EOF', got '\frae' at position 2: (\̲f̲r̲a̲e̲12)$ (AX-b)^T $\times$ (AX-b)
令误差最小二乘为0，则 $KaTeX parse error: Expected 'EOF', got '\frae' at position 2: (\̲f̲r̲a̲e̲12)$ (AX-b