Jacobian与切空间

0.引言

知识的融会贯通，只是一个小的知识点，记录一下。

1.Jaocibian与切空间

众所周知，Jaocibian矩阵本质上就是导数。初中时学习的一元二次方程$a{x}^2+bx+c=0$求导，当$x$确定时可以得到$x$处的切线方程，切线就是一维的切空间。切空间是在某一点所有的切向量组成的线性空间。

由于线性化本质就是微分，$df/dx$表示了雅克比矩阵是$f$对$x$的导数，是函数变化的斜率，因此也可类比一元函数的概念理解雅克比矩阵的线性化作用。而与此同时，对于向量空间而言，微分就是以微元为基底，得到的切空间，雅克比矩阵也是一个切空间的坐标变换矩阵。

• 导数就是在切空间到切空间之间的线性映射.

$$\mathbf{J}=\left[\begin{array}{lll}\frac{\partial \mathbf{f}}{\partial x_1}& \cdots & \frac{\partial \mathbf{f}}{\partial x_n}\end{array}\right]=\left[\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \cdots & \frac{\partial f_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right]$$

和一元二次方程类似，当$x$确定时，就可以找到具体的切线方程；当具体的点确定时，就可以通过Jacobian得到具体的切空间。

2.旋转矩阵中的切空间

• 关于李群与李代数的的理解与总结
  

在使用旋转矩阵表达三维世界中刚体的运动方式时，我们需要对其进行估计和优化。例如在优化位姿$T$时，就需要构建一个残差方程，也就是估计值与观测值之间的误差，而此时需要求解残差方程$e$对变化矩阵$T$的求导，变成了矩阵求导问题，而且对于变换矩阵是并不封闭的，所谓的不封闭就是两个变换矩阵相加得到的并不是变换矩阵，而不像是实数1加上实数2得到的3仍然是一个实数。

除此之外，由上面的变换矩阵的定义我们知道，旋转矩阵本身是带有约束的矩阵，也就是旋转矩阵为一个行列式为1的正交矩阵，额外的约束会增加优化的困难，为了简化求解的方式，引入了李群。

简单的说群就是一种集合加上一种运算的代数结构。虽然旋转矩阵对于加法是不封闭的，但是对于乘法是封闭的，两个旋转矩阵相乘代表做了两次旋转。

对于旋转矩阵和变换矩阵的群定义如下：
$$SO(3)=\left\{R\in {\mathbb{R}}^{3\times 3}\mid R{R}^T=I,\det (R)=1\right\}$$$$SE(3)=\left\{T=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\in {\mathbb{R}}^{4\times 4}\mid R\in SO(3),T\in {\mathbb{R}}^3\right\}$$
所谓的李群是指具有连续（光滑）性质的群，$So(3)$和$SE(3)$在实数空间上都是连续的，所以他们都是李群。到此为止李群的引入解决了变换矩阵额外约束的问题，

接下来解决矩阵的求导问题。首先对于任意矩阵$R$，假设$R$是某个刚体的旋转，它会随着时间连续变换即为时间的函数$R(t)$，因此：
$$R(t)R(t{)}^T=I$$
对时间$t$进行求导，其中$\hat{R}(t)$ 代表函数$R(t)$的导数:

$$R(t)R(t{)}^T+R(t)R(t{)}^T=0$$$$R\widehat{(}t)R(t{)}^T=-R(t)R(t{)}^T=-{\left(R\widehat{(t)}R(t{)}^T\right)}^T$$显然，$R\widehat{(}t)R(t{)}^T$是一个反对称函数。其特征是主对角线上的元素是0，关于主对角线对称的元素互为相反数。因此对于任意反对称矩阵，总能找到一个唯一与之对应的向量。

$$a^{\wedge }=A=\left[\begin{array}{ccc}0& -a_3& a_2\\ a_3& 0& -a_1\\ -a_2& a_1& 0\end{array}\right]$$因此对于反对称矩阵$R\widehat{(t})R(t{)}^T$，同样也可以找到一个三维向量$\varphi (t)\in {\mathbb{R}}^3$ ，即：
$$R(t)R(t{)}^T=\varphi (t{)}^{\wedge }$$
等式两边右乘$R(t)$，且$R$为正交矩阵，所以得到：

$$R\widehat{(t})=\varphi (t{)}^{\wedge }R(t)=\left[\begin{array}{ccc}0& -{\varphi }_3& {\varphi }_2\\ {\varphi }_3& 0& -{\varphi }_1\\ -{\varphi }_2& {\varphi }_1& 0\end{array}\right]R(t)$$
至此我们就得到了矩阵的导数，每次对旋转矩阵求导只需要左乘 $\varphi (t)$即可。李代数描述了旋转矩阵$R$局部的导数关系，也叫正切空间。

• 通过 $\varphi (t)$可以映射到正切空间，这里的 $\varphi (t{)}^{\wedge }R(t)$扮演的就是Jacobian的角色，当数值给定时，就能确定具体的正切空间，即是$R(\hat{t})$.

下面给出旋转矩阵和变换矩阵的群所对应的李代数：

$$so(3)=\left\{\varphi \in {\mathbb{R}}^3,\Phi ={\varphi }^{\wedge }\in {\mathbb{R}}^{3\times 3}\right\}$$$$se(3)=\left\{\xi =\left[\begin{array}{l}\rho \\ \varphi \end{array}\right]\in {\mathbb{R}}^6,\rho \in {\mathbb{R}}^3,\varphi \in so(3),{\xi }^{\wedge }=\left[\begin{array}{cc}{\varphi }^{\wedge }& \rho \\ 0^T& 0\end{array}\right]\in {\mathbb{R}}^{4\times 4}\right\}$$

• 引入李群的目的是解决旋转矩阵本身的约束问题，简化后面的优化过程。
• 引入李代数是为了解决旋转矩阵的求导问题，当然李群和李代数之间也存在指数映射和对数映射的相互转换。

3.MLPnP中的切空间

MLPnP中，方位向量转置的零空间：
$${\mathbf{J}}_{{\mathbf{v}}_{\mathbf{r}}}(\mathbf{v})=\mathrm{null}\left({\mathbf{v}}^{\mathbf{T}}\right)=\left[\begin{array}{ll}\mathbf{r}& \mathbf{s}\end{array}\right]=\left[\begin{array}{cc}{r}_1& s_1\\ r_2& s_2\\ r_3& s_3\end{array}\right]$$

从零空间的定义，方位向量在零空间的投影为0，即是方位向量与零空间是垂直的，怎么能说零空间是它的切空间呢？

论文中提到，${\mathbf{J}}_{{\mathbf{v}}_r}$表示了从正切空间到原始向量的变换的雅可比矩阵 ，${\mathbf{J}}_{{\mathbf{v}}_r}^T$表示从原始齐次向量$v$到其简化后的等价向量$v_r$的变换：

$${\mathbf{v}}_r=\left[\begin{array}{l}dr\\ ds\end{array}\right]={\mathbf{J}}_{{\mathbf{v}}_r}^T(\mathbf{v})\mathbf{v}=0$$

个人理解这里的空间就是零空间，不是切空间，${\mathbf{J}}_{{\mathbf{v}}_r}$也不是通常意义的Jacobian矩阵，只是一个变换矩阵。${\mathbf{J}}_{{\mathbf{v}}_r}^T(\mathbf{v})$表示将方位向量$v$变换到零空间，再乘以$v$即为0.

$$\left[\begin{array}{l}dr\\ ds\end{array}\right]=\left[\begin{array}{c}{\mathbf{r}}^T\\ {\mathbf{s}}^T\end{array}\right]{\lambda }_i^{-1}\left(R{p}_i+t\right)=0$$
其中，$\left[\begin{array}{l}{\mathbf{r}}^T\\ {\mathbf{s}}^T\end{array}\right]$则为从2D像素坐标系经过相机内参求得方位向量再求得的零空间，${\lambda }_i^{-1}\left(R{p}_i+t\right)$则为世界坐标系到相机系的变换，理论上两者相乘应为0，但是由于$R$、$t$有误差，因此不为0，则构建出了目标函数。