关于视觉SLAM14讲中的最小二乘法求解超定方程组

1、超定方程组

粗糙的解释：方程的个数比未知数还多。
超定方程组是指方程个数大于未知量个数的方程组。对于方程组Ra=y，R为n×m矩阵，如果R列满秩，且n>m。则方程组没有精确解，此时称方程组为超定方程组。

2、最小二乘法求解

$$\begin{array}{l}E(\mathbf{x})=\Vert \mathbf{A}\mathbf{x}-\mathbf{b}{\Vert }^2\\ =(\mathbf{A}\mathbf{x}-\mathbf{b}{)}^T(\mathbf{A}\mathbf{x}-\mathbf{b})\\ =\left({\mathbf{x}}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}-{\mathbf{b}}^{\mathbf{T}}\right)(\mathbf{A}\mathbf{x}-\mathbf{b})\\ ={\mathbf{x}}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}\mathbf{A}\mathbf{x}-{\mathbf{b}}^{\mathbf{T}}\mathbf{A}\mathbf{x}-{\mathbf{x}}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}\mathbf{b}+{\mathbf{b}}^{\mathbf{T}}\mathbf{b}\\ ={\mathbf{x}}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}\mathbf{A}\mathbf{x}-{\left({\mathbf{A}}^{\mathbf{T}}\mathbf{b}\right)}^{\mathrm{T}}\mathbf{x}-{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{b}\right)}^{\mathrm{T}}\mathbf{x}+{\mathbf{b}}^{\mathrm{T}}\mathbf{b}\end{array}$$
$$\frac{\partial E}{\partial \mathbf{x}}=2{\mathbf{A}}^{\mathbf{T}}\mathbf{A}\mathbf{x}-2{\mathbf{A}}^{\mathrm{T}}\mathbf{b}=0$$$$\mathbf{x}={\left({\mathbf{A}}^T\mathbf{A}\right)}^{-1}{\mathbf{A}}^T\mathbf{b}$$

关于矩阵求导可以看这个应该够了：
https://zhuanlan.zhihu.com/p/273729929