SLAM基础——最小二乘

1 📖 概念入门：最小二乘估计（LSE）

最小二乘估计，简写为LSE(Leart Squares Estimate）

1-1 🔖 最小二乘模型的引出

线性模型如下：
$$\mathbf{Y}=\mathbf{A}\mathbf{X}+\mathbf{\epsilon }$$

其中：

• $\mathbf{Y}={\left(y_1,y_2,\dots ,y_n\right)}^T$ :为观测向量

• $\mathbf{A}$：为一个$n\times n$的矩阵

• $\epsilon ={\left({\epsilon }_1,{\epsilon }_2,\dots ,{\epsilon }_n\right)}^T$ ：为随机误差向量

注意：

上面式常常写做
$$f(X)=\mathbf{A}X-b$$

• $b$：这里相当于上面的$\mathbf{Y}$

如果
$${\left(\mathbf{Y}-\mathbf{A}{\mathbf{X}}_{LSE}\right)}^T\left(\mathbf{Y}-\mathbf{A}{\mathbf{X}}_{LSE}\right)=\underset{\mathbf{X}}{\min }(\mathbf{Y}-\mathbf{A}\mathbf{X}{)}^T(\mathbf{Y}-\mathbf{A}\mathbf{X})$$
称${\mathbf{X}}_{LSE}$ 是 $\mathbf{X}$的线性估计，LSE的意思是最小二乘估计（Leart Squares Estimate）

1-2 🔖 最小二乘模型求解（假设A满秩）

下面开始求解${\mathbf{\beta }}_{LSE}$，首先设：
$$Q(\mathbf{X})=(\mathbf{Y}-\mathbf{A}\mathbf{X}{)}^T((\mathbf{Y}-\mathbf{A}\mathbf{X})$$
求LSE等价于求$Q(\mathbf{X})$的最小值，令
$$\frac{\partial Q(\mathbf{X})}{\partial \mathbf{X}}=-2{\mathbf{A}}^T\mathbf{Y}+2{\mathbf{A}}^T\mathbf{A}\mathbf{X}=0$$
可得：
$${\mathbf{A}}^T\mathbf{A}\mathbf{X}={\mathbf{A}}^T\mathbf{Y}$$
这个方程组叫做正规方程（normal equations）组。

设$\mathbf{A}$是列满秩矩阵，则正规方程的解唯一：
$${\mathbf{X}}_{LSE}={\left({\mathbf{A}}^T\mathbf{A}\right)}^{-1}{\mathbf{A}}^T\mathbf{Y}$$
显然，${\mathbf{X}}_{LSE}$是$\mathbf{Y}$的线性函数。

1-3 🔖 高斯马尔科夫定理介绍

首先插入一下什么是线性估计和最佳线性无偏估计：

线性估计：若估计量是观测值的线性函数，则称它为线性估计。
最佳线性无偏估计（BLUE, Best Linear unbiased estimator）：设 $\hat{\theta }$是参数 $\theta$ 的线性无偏估计。如果对$\theta$的任意一个线性无偏估计 ${\theta }^{\ast }$，有$\mathrm{var}\left({\theta }^{\ast }\right)\ge \mathrm{var}(\hat{\theta })$，则称$\hat{\theta }$是参数$\theta$的 BLUE 。

在统计学中，高斯－马尔可夫定理是指：

在线性回归模型中，如果误差满足零均值、同方差且互不相关，则回归系数的最佳线性无偏估计(BLUE, Best Linear Unbiased Estimator)就是普通最小二乘法估计。

高斯－马尔可夫定理的假设条件是：

• 零均值: $\mathrm{E}(\epsilon )=0$

• 同方差且不相关： $\mathrm{var}(\epsilon )=\mathrm{E}\left(\epsilon {\epsilon }^T\right)={\sigma }^2{\mathbf{I}}_{\mathrm{n}}$ （其中 ${\mathbf{I}}_{\mathbf{n}}$为n阶单位矩阵(Identity Matrix)。）

2 📖 雅克比矩阵、海森矩阵与非线性最小二乘间的关系

2-1 🔖 雅克比矩阵

雅可比矩阵：
$$\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
此矩阵表示为：
$$J\left(x_1,\dots ,x_n\right)$$
或者
$$\frac{\partial \left(y_1,\dots ,y_m\right)}{\partial \left(x_1,\dots ,x_n\right)}$$

2-2 🔖 海森矩阵

在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：
$$f\left(x_1,x_2,\dots ,x_n\right)$$

如果 f 所有的二阶导数都存在，那么 f 的海森矩阵即：
$$H(f{)}_{ij}(x)=D_i{D}_{j}f(x)$$
其中$x={\left(x_1,x_2,\dots ,x_n\right)}^T$，即
$$H(f)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$

2-3 🔖 解非线性最小二乘

一、最小二乘问题
$$\underset{x\in R^{\prime }}{\min }f(x)=\underset{x\in R^{\prime }}{\min }\sum _{i=1}^m{f}_i^2(x)$$
这里 $f_i(x)(i=1,2,\cdots ,m)$ 可理解为误差, 上式优化问题就是要使误差的平方和最小（即最小二乘问题）。

• 当 $f_i(x)(i=1,2,\cdots ,m)$ 都是线性函数时,上式问题是线性最小二乘问题;
• 当 $f_i(x)(i=1,2,\cdots ,m)$有非线性函数时,上式就是非线性最小二乘问题。

二、线性最小二乘问题
$$\begin{array}{l}{f}_i(x)=p_i^{T}x-b_i(i=1,2,\cdots ,m)\\ A=\left[\begin{array}{c}{p}_1^T\\ ⋮\\ p_m^T\end{array}\right],b=\left[\begin{array}{c}{b}_1\\ ⋮\\ b_m\end{array}\right]\end{array}$$
则
$$f(x)=(Ax-b{)}^T(Ax-b)=x^T{A}^{T}Ax-2b^{T}Ax+b^{T}b$$
令
$$\nabla f(x)=2A^{T}Ax-2A^{T}b=0$$
得
$$A^{T}Ax=A^{T}b$$

上面式子称为法方程组

若 $\mathrm{A}$ 列满秩, 则 ${\mathrm{A}}^{\mathrm{T}}\mathrm{A}$ 为正定对称矩阵, 从而可逆,得到, 线性最小二成问题的全局最优解
$$x^{\ast }={\left(A^{T}A\right)}^{-1}{A}^{T}b$$

三、非线性最小二乘问题
由于的 ${\mathrm{f}}_{\mathbf{i}}(\mathbf{x})$ 非线性性, 此时按梯度等于0得到的是一个非线性方程组, 求解困难。常用的基本思想是用一些列最小二乘问题求解该非线性是小二乘问题：

​ 设 ${\mathrm{x}}^{(\mathrm{k})}$ 是解的第k次近似,在 ${\mathbf{x}}^{(\mathrm{k})}$ 处将函数 ${\mathbf{f}}_{\mathbf{i}}(\mathbf{x})$ 线性化, 把问题化为线性最小二乘问题, 求出第 $\mathbf{k}+1$ 次近似解 ${\mathrm{x}}^{(k+1)}$; 再从${\mathrm{x}}^{(k+1)}$出发, 重复此过程, 直到达到迭代终止难则。

2-4 🔖 牛顿法

注意：这里雅克比$J=A$，因为这里的雅克比$J$是相对于$f=AX$来说的，并不是针对最小二乘来说的

为了能够方便理解整个流程, 我们还是拿一元函数 $f(x)$ 来举例。

我们首先对其在 $x=x_0$ 处进行二阶泰勒展开：
$$f(x)=f\left(x_0\right)+f^i\left(x_0\right)\left(x-x_0\right)+\frac{f^{\prime \prime }\left(x_0\right)}{2}{\left(x-x_0\right)}^2+o{\left(x-x_0\right)}^2$$

其中, 由于泰勒展开的特性，后面 $o\left(x-x_0\right)$ 部分不予考虑，我们只考虑前面展开部分的极值问题:
$$g(x)=f\left(x_0\right)+f^{\prime }\left(x_0\right)\left(x-x_0\right)+\frac{f^{\prime \prime }\left(x_0\right)}{2}{\left(x-x_0\right)}^2$$

上面的式子是一个一元二次函数，那么其极值就是一阶导数为0的时候，我们可以先微分：
$$g^{\prime }(x)=f^{\prime }\left(x_0\right)+f^{\prime \prime }\left(x_0\right)\left(x-x_0\right)$$

令 $g^{\prime }\left(x_1\right)=0$, 则此时的 $x_1$ 就是极值（为了方便说明，暂不考虑鞍点的情况）。故
$$\begin{gathered} f^{\prime }\left(x_0\right)+f^{\prime \prime }\left(x_0\right)\left(x_1-x_0\right)=0 \\ {x}_1=x_0-\frac{f^{\prime }\left(x_0\right)}{f^{\prime \prime }\left(x_0\right)} \end{gathered}$$
以此类推，可以得到迭代公式：
$$x_{n+1}=x_n-\frac{f^{\prime }\left(x_n\right)}{f^{\prime \prime }\left(x_n\right)}$$
根据这个方法就可以不断的迭代下去直到收敘，最终找到极值了。
如果是多元的情况, 则一阶导数 $f^{\prime }(x)$ 被叫做梯度, 也称之为雅可比矩阵 $J$ (这里不太严谨。 严格来说, 矩阵的梯度为一阶导的转置, 函数的梯度为一阶导，这里并没有进行详细的区分），二 阶导数矩阵 $f^{\prime \prime }(x)$, 也被叫做海塞矩阵 $H$ 。 如果是收敘的话, $\Delta x=x_{n+1}-x_n\approx 0$, 则式子 可以转化为：
$$\Delta x=-\frac{f^t\left(x_n\right)}{f^{\prime \prime }\left(x_n\right)}=-\frac{J}{H}$$
也就是说：
$$H\Delta x=-J$$
这样，就可以求出能够取得函数 $f(x)$ 的极值点, 继而算出函数 $f(x)$ 的极值。

由于牛顿法需要算二阶导数，如果高阶的话，需要算海塞矩阵，这里是有三个缺陷：

• 要求给定的方程需要二阶可导
• 非凸函数的海森矩阵不一定有逆
• 数据较大的时候，海塞矩阵的计算量偏大

因此，需要思考别的方法来进行最小二乘问题的优化和求解。

2-5 🔖 高斯牛顿法

https://zhuanlan.zhihu.com/p/113946848

注意：这里雅克比$J=A$，因为这里的雅克比$J$是相对于$f=AX$来说的，并不是针对最小二乘来说的

如果代入到最小二乘问题中，牛顿法和梯度下降法都是针对目标函数$F\left(x_k\right)$来进行求解的，这样，就不可避免的需要求得海塞矩阵$H$，所以，为了避免这个问题，我们选取了误差函数$f(x)$ 来进行优化求解：
$$\min F(x)=\frac{1}{2}\Vert f(x){\Vert }_2^2$$
那么，我们从上面的迭代步骤2中可以看到：

1、给定某个初始值 $x_0$;
2、对于第 $k$ 次迭代，寻找一个增量 $\Delta x_k$, 使得误差 ${\Vert f\left(x_k+\Delta x_k\right)\Vert }_2^2$ 达到极小值
3、若 $\Delta x_k$ 足够小，则停止迭代 ;
4、否则, 令 $x_{k+1}=x_k+\Delta x_k$, 返回第2步。

那么，我们对 $f(x+\Delta x)$ 进行一阶泰勒展开。
$$f(x+\Delta x)\approx f(x)+J(x{)}^T\Delta x+o(\Delta x)$$
我们需要求 $\Delta x$ 使得上面的式子 $\Vert f(x+\Delta x){\Vert }_2^2$ 有最小值, 所以，我们可以得到最小二乘问题 为：
$$\Delta x^{\ast }=\arg \min \frac{1}{2}\Vert f(x+\Delta x){\Vert }_2^2\approx \arg \min \frac{1}{2}{\Vert f(x)+J(x{)}^T\Delta x\Vert }_2^2$$

为了求极值，对其求导：
$$\begin{gathered} m(x)=\frac{1}{2}{\Vert f(x)+J(x{)}^T\Delta x\Vert }^2=\frac{1}{2}{\left(f(x)+J(x{)}^T\Delta x\right)}^T\left(f(x)+J(x{)}^T\Delta x\right) \\ =\frac{1}{2}(\Vert f(x){\Vert }^2+2f(x)J(x{)}^T\Delta x+\Delta x^{T}J(x)J(x{)}^T\Delta x \end{gathered}$$
故，对其求导可以得到：
$$m^{\prime }(x)=J(x)f(x)+J(x)J(x{)}^T\Delta x$$
则，此时可以转化为线性求解问题：
$$m^{\prime }(x)=0\to J(x)J(x{)}^T\Delta x=-J(x)f(x)$$
令 $J(x)J(x{)}^T$ 定义为 $H(x)$, 令 $-J(x)f(x)$ 定义为 $g(x)$, 则此时变为了：
$$H\Delta x=g\text{ s.t }H=J{J}^T\&g=-Jf$$
这样，就可以优化求解了。上面的最小二乘的优化步骤就可以变为 :

1、给定某个初始值 $x_0$;

2、对于第k次迭代，求出当前的雅可比矩阵 $J\left(x_k\right)$ 和误差 $f\left(x_k\right)$;

3、求解增量方程 : $H\Delta x_k=g$;

4、若 $\Delta x_k$ 足够小，则停止迭代 ;

5、否则，令 $x_{k+1}=x_k+\Delta x_k$, 返回第2步。

相比较于传统的最小二乘求解方法，只更改了两个步骤。

该方法的优点和缺点如下：
优点：

• 避免了求海塞矩阵，大大减少了计算量。
  缺点：
• 为了求解 $H^{-}$, 需要 $H$ 矩阵可逆, 但是实际上 $J{J}^T$ 只有半正定性，所以，当为奇异矩阵的时
  候，稳定性较差，算法不收敘。
• 如果求出来的步长 $\Delta x_k$ 太大，会导致其局部近似不精确，严重的时候，可能无法保证迭代收 敘。
• 容易和梯度下降法一样，陷入钻齿状，导致迭代次数较长。
  不过，为了能够更好的进行最小二乘问题的求解，我们可以使用列文伯格-马夸特法 $(\mathrm{L}\mathrm{M})$ 来进行求 解。

2-6 🔖 LM法

为什么选择LM法？

原因一：如果$J(x)J(x{)}^T\Delta x=-J(x)f(x)$中的矩阵$J_k^{\top }{J}_k$是病态或奇异时，线性方程组的求解就会遇到困难, 此时基本的对策是正则化的方法, 即
$$\left(J_k^T{J}_k+\alpha I\right)d=-J_k^T{f}^{(k)}$$
原因二：在高斯牛顿法的缺点中，可以看到，有一点使容易进入锯齿状，导致迭代的次数较长。所以，为了避免其步长过大导致的问题，该方法提出了信赖区域，设定一个区域。使得步长能够受到控制

在更新迭代的过程中，为了判定近似值的好坏，我们设定了一个评判指标：
$$\rho =\frac{f(x+\Delta x)-f(x)}{J(x{)}^T\Delta x}$$
这个指标就是我们的近似指标，可以看到其分为以下几种情况：

• $\rho$ 接近1, 近似是好的, 不需要更改;
• $\rho$ 太小, 则实际减少的值小于近似减少的值，近似较大，需要缩小近似的范围;
• $\rho$ 太大, 则实际减少的值大于近似减少的值，近似较小，需要扩大近似的范围。

这样的话，就可以动态调整步长了。

通过近似指标，我们可以设定信赖区域的大小 ${}_0$ 当没有接近我们设定的间值，则不断调整动态区 域，直到找到好的近似结果。

当找到符合要求的近似结果后，就可以进行后续正常的迭代更新了。

因此，使用该信赖区域后，可以更新算法流程：

1、给定某个初始值 $x_0$;
2、对于第 $k$ 次迭代，在高斯牛顿法的基础上加入信赖区域：
$$\min \frac{1}{2}{\Vert f\left(x_k\right)+J{\left(x_k\right)}^T\Delta x_k\Vert }^2,\text{ s.t }{\Vert D\Delta x_k\Vert }^2\le \mu$$
其中， $\mu$ 是信赖半径， $D$ 为系数矩阵。
3、计算近似指标 $\rho$ :
$$\rho =\frac{f(x+\Delta x)-f(x)}{J(x{)}^T\Delta x}$$
4、根据经验值，设定：

• 若 $\rho >\frac{3}{4}$, 则设置 $\mu =2\mu$, 跳转第6步 $;$
• 若 $\rho <\frac{1}{4}$, 则设置 $\mu =0.5\mu$, 跳转第6步
• 若 $\rho$ 大于设定的间值，则跳转至第5步，求解 $\Delta x_k$, 令 $x_{k+1}=x_k+\Delta x_{k\circ }$

5、求解增量方程 : $(H+\lambda I)\Delta x_k=g$;

6、若 $\Delta x_k$ 足够小，则停止迭代，否则，返回第2步。

至于增量方程的获取，可以通过拉格朗日函数来求解：
$$\min \frac{1}{2}\Vert f(x)+J(x{)}^T\Delta x\Vert \text{ s.t }||D\Delta x<\mu {\Vert }_2$$
构建拉格朗日函数， $\lambda$ 是系数因子：
$$L(\Delta x,\lambda )=\frac{1}{2}{\Vert f(x)+J(x{)}^T\Delta x\Vert }^2+\frac{\lambda }{2}\left(\Vert D\Delta x{\Vert }^2-\mu \right)$$
这样的话，化简后求导就可以得到：
$$J(x)f(x)+J(x)J^T(x)\Delta x+\lambda D^{T}D\Delta x=0$$
我们化简后得到：
$$\left(J{J}^T+\lambda D^{T}D\right)\Delta x=-Jf$$
在本文中, 我们令 $H=J{J}^T,g=-Jf$ 在实际使用中, 通常用 $I$ 来代替 $D^{T}D$ 。 所以，公式 就变为：
$$(H+\lambda I)\Delta x_k=g$$
这样，就可以得到对应的增量方程了。
代入算法流程中，最终就可以优化得到最小二乘问题的极小值了。

2.7 🔖 几种方法的联系与优缺点

1. 最速下降法：直观上将本算法十分简单，直接按照梯度的反方向下降即可；缺点是过于贪心，容易呈锯齿状下降，从而增加迭代次数。
2. 牛顿法：相对而言也非常直观，同时由于引入了二阶导数，可以处理一阶导为0的情况；但缺点是二阶导数具有非常大的计算量。
3. 高斯牛顿法：在牛顿法的基础上进行了一定程度的简化，使用$J^{T}J$ 代替海塞矩阵，避免了二阶导数的计算；缺点在于$J^{T}J$很容易病态，导致无法得到正确的结果。
4. LM法：通过引入阻尼项使得 $J^{T}J$不那么容易病态，并且可以通过调整阻尼完成在梯度法和牛顿法之间切换；缺点不太清楚。

---

• 牛顿法： $H\Delta x=-J$ s.t $H=f^{\prime \prime }\left(x_k\right),J=f^{\prime }\left(x_k\right)$
• 梯度下降法： $\Delta x=-\gamma J$ s.t $J=f^t\left(x_k\right)$
• 高斯牛顿法： $H\Delta x=g$ s.t $H=J{J}^T,g=-Jf$
• 列文伯格-马夸特法： $(H+\lambda I)\Delta x_k=g$ s.t $H=J{J}^T,g=-Jf$

---

其实，这四种方法在最小二乘的问题求解中，也是有着联系的。

我们设定最小二乘问题为：
$$\min F(x)=\frac{1}{2}\Vert f(x){\Vert }_2^2$$
根据针对求解的是目标函数还是误差函数，可以将问题进行分类：

针对目标函数$F(x)$优化

对于目标函数 $F(x)$ 进行一阶泰勒展开：
$$F\left(x_k+\Delta x_k\right)\approx F\left(x_k\right)+J{\left(x_k\right)}^T\Delta x_k$$
此时，此时变成求最小值的问题, 则：
$$\Delta x_k^{\ast }=\arg \min \left(F\left(x_k\right)+J{\left(x_k\right)}^T\Delta x_k\right)$$
故，对其求最小值，可以进行求一阶导数为0：
$$\Delta x_k=-J{\left(x_k\right)}^T$$

可以看到，如果增加一个步长 $\lambda$, 此时的方法就是梯度下降法。

如果对目标函数 $F(x)$ 其进行二阶泰勒展开：
$$F\left(x_k+\Delta x_k\right)\approx F\left(x_k\right)+J{\left(x_k\right)}^T\Delta x_k+\frac{1}{2}\Delta x_k^{T}H\left(x_k\right)\Delta x_k$$
则，此时的增量方程为最小二乘问题：
$$\Delta x_k^{\ast }=\arg \min \left(F\left(x_k\right)+J{\left(x_k\right)}^T\Delta x_k+\frac{1}{2}\Delta x_k^{T}H\left(x_k\right)\Delta x_k\right)$$
则，为了求其最小值, 对 $\Delta x_k^{\ast }$ 进行求导：
$$J\left(x_k\right)+H\left(x_k\right)\Delta x_k=0\to H\ast \Delta x=-J$$
则此时的方法为牛顿法。

所以，如果从目标函数 $F(x)$ 入手的话，梯度下降法和牛顿法就是其一阶泰勒展开和二阶泰勒展开 的求解方法。

针对误差函数$f(x)$优化

对误差函数的优化，可以得到两种方法：高斯牛顿法和列文伯格-马夸特法。
其中，列文伯格-马夸特法是在高斯牛顿法的基础上得来的。他们之间的联系，主要取决于参数 $\lambda$

• $\lambda$ 较大的时候, 公式变为： $\lambda I\Delta x_k=g$, 此时为梯度下降法
• $\lambda$ 较小的时候, 公式变为： $H\Delta x_k=g$, 此时为高斯牛顿法。

所以， $\mathbf{L}\mathbf{M}$ 法可以在一定程度上避免线性方程组的系数矩阵的非奇异和病态的问题，从而得到更 精准，更稳定的增量 $\Delta x_k$ 。

3 📖 矩阵求解

参考链接

https://blog.csdn.net/wangshuailpp/article/details/80209863

https://www.cnblogs.com/AndyJee/p/3846455.html

3-1 🔖 内容一：直接给出$\mathbf{A}\mathbf{X}=\mathbf{B}$解的情况。

（1）R(A)< r(A|B),方程组无解

（2）r(A)=r(A|B)=n,方程组有唯一解

（3）r(A)=r(A|B) < n,方程组有无穷解

（4）r(A)>r(A|B),这种情况不存在

其中r()代表矩阵的秩，A|B是增广矩阵，n是X未知数个数。

• 当A满秩时，为了提高效率通常采用QR分解、LTLD分解、Cholesky分解和SVD分解（奇异分解）等。
• 当A亏秩时，只能使用SVD分解方法，其他方法将失效。

QR分解？LTLD分解、Cholesky分解、SVD分解？

3-2 🔖内容二：线性最小二乘问题

$$\begin{gathered} \min \Vert Ax-b{\Vert }_2^2 \\ A\in R^{m^{\ast }n}x\in R^{n}b\in R^m \end{gathered}$$

m个方程求解n个未知数，有三种情况:

1. $\mathrm{m}=\mathrm{n}$ 且A为非奇异, 则有唯一解, $x=A^{-1}b$
2. $m>n$, 约束的个数大于未知数的个数, 称为超定问题 (overdetermined)
3. $\mathrm{m}<\mathrm{n}$, 负定/欠定问题 (underdetermined)

通常我们遇到的都是超定问题, 此时A $=$ b的解是不存在的，从而转向解最小二乘问题: $f(x)=\Vert Ax-b\Vert$ ，其中 $\mathrm{f}(\mathrm{x})$ 为凸函数。令一阶导数为 0, 得到: $A^{T}Ax-A^{T}b=0$,称之为正规方程

一般解: $x={\left(A^{T}A\right)}^{-1}{A}^{T}b$可见一般在视觉SLAM中后端优化就是约束项大于未知数的个数（超定问题）, 采用最小二乘问题求 解

4 📖 最小二乘参考链接

从零开始学习「张氏相机标定法」（四）优化算法前传

从零开始学习「张氏相机标定法」（五）优化算法正传

最小二乘法与高斯-马尔可夫定理

https://zhuanlan.zhihu.com/p/113946848

https://zhuanlan.zhihu.com/p/114820251

https://blog.csdn.net/wangshuailpp/article/details/80209863

https://www.cnblogs.com/AndyJee/p/3846455.html

https://blog.csdn.net/wangshuailpp/article/details/80209863

https://www.cnblogs.com/AndyJee/p/3846455.html