最小二乘以及最小二乘求解超定方程组最优解的推导

采用求导的方法

偶尔看到斯坦福吴恩达教授的机器学习第二节课，才明白了最小二乘的的推理过程，下面的推理看不懂的话，推荐去看一下老师的上课视频。

以下是一些预备知识：
在本文中 $\nabla$ 表示的是求导运算，设A是一个 n $\times$ n的矩阵，f表示一种函数关系，则$\nabla$A f(A) =
KaTeX parse error: Can't use function '$' in math mode at position 18: …begin{pmatrix} $̲\partial$ f/ $\…

A、B、C均为矩阵：
tr(ABC) = tr(CAB) = tr(BCA)
$\nabla$A tr(AB) = B^T
trA = tr(A^T)
$\nabla$A tr(ABA^T C) = CAB + C^T A B^T
a表示一个实数，tra = a

超定方程组表示为：AX = b
误差为：AX-b
误差最小二乘为：KaTeX parse error: Expected 'EOF', got '\frae' at position 2: (\̲f̲r̲a̲e̲12)(AX-b)^T$\times$(AX-b)
令误差最小二乘为0，则KaTeX parse error: Expected 'EOF', got '\frae' at position 2: (\̲f̲r̲a̲e̲12)(AX-b