TextSLAM 论文阅读

Text Features

Text feature 参数化

所有的Text features 都被一个框框起来，text feature平面上所有点到相机camera的关系可以利用一个法向量（$n=(n_1,n_2,n_3)$）和距离($d$)来表示,即：
$$n^{T}p+d=0$$
那么我们可以直观地将一个平面feature参数化为$（n_1,n_2,n_3,d）$,但是这样的参数化是冗余的，于是有了融合逆深度的更加简洁的参数化形式：
$$(\theta )=({\theta }_1,{\theta }_2,{\theta }_3{)}^T=n/d$$

考虑某个点$p$在相机坐标系下投影的归一化坐标为：
$$m=(u,v{)}^T,以及逆深度\rho =1/h,其中h该点的深度值$$
那么$p$的坐标，可以这样计算：
$$p=(uh,vh,h{)}^T=h\tilde{m}，其中\tilde{m}表示m的单应性坐标$$
将上述式子代入平面方程：
$$h\cdot n^T\tilde{m}+d=0$$
然后3d点的逆深度可以通过以下式子计算：
$$\rho =1/h=-n^T/d\tilde{m}={\theta }^T\tilde{m}$$
到此，我们可以通过给定的text 参数化形式，点乘得到每个像素点对应的逆深度值。然后当我们有至少3个落在Text 上的点（例如角点等）时。$\theta$可以通过以下公式计算
$$\left[\begin{array}{c}{\tilde{m}}_1^T\\ {\tilde{m}}_2^T\\ ...\\ {\tilde{m}}_n^T\end{array}\right]\theta =\left[\begin{array}{c}{\rho }_1\\ {\rho }_2\\ ...\\ {\rho }_n\end{array}\right]$$
这样我们可以利用深度值通过三个角点快速初始化出Text 参数。（所以需要RGBD作为输入？文本的bounding box 需要计算量会是多大？）

3D text 投影到目标坐标系

host frame 表示当前坐标系，target frame 表示目标坐标系
令$${\mathrm{T}}_h,{\mathrm{T}}_t\in \mathrm{S}\mathrm{E}(3)$$分别表示host\target 坐标系到世界坐标系的刚体运动。
那么目标坐标系和当前坐标系之间的刚体运动可以写成$T=T_t^{-1}{T}_h$,令R，t分别表示该刚体运动的旋转和平移。

给定Text参数，以及某个像素观测值，对应的点p的空间坐标关系如下：
$$p=\tilde{m}/\rho =\tilde{m}/({\theta }^T\tilde{m})$$
令target坐标系下与$p$点对应的坐标为$p^{\prime }$
$$p^{\prime }\sim R\tilde{m}+t{\tilde{m}}^T\theta ,uptoscale$$
那么$p^{\prime }$对应在target坐标系下的投影可以通过以下形式给出：
$$\begin{gathered} m^{\prime }=(u^{\prime },v^{\prime }) \\ {v}^{\prime }=(r_1^T\tilde{m}+t_1{\tilde{m}}^T\theta )/(r_3^T\tilde{m}+t_3{\tilde{m}}^T\theta ) \\ {u}^{\prime }=(r_2^T\tilde{m}+t_2{\tilde{m}}^T\theta )/(r_3^T\tilde{m}+t_3{\tilde{m}}^T\theta ) \end{gathered}$$
上述描述的就是单应矩阵：
$$\mathrm{H}\sim \mathrm{R}+t{\theta }^T$$
然后投影方程：
$$m^{\prime }=h(m,T_h,T_t,\theta )$$

Text 重投影误差

文中提到由于光度变化，导致重投影误差变大，因为光度的变化会影响到特征提取，从而影响重投影误差。 因此选择了ZNCC（zero mean normalized cross-correlation）作为匹配误差
**注：**ZNCC是利用两个待匹配像素点邻域窗口内的像素，通过零均值归一化相似性度量公式来计算两个待匹配像素之间的相似程度.

但是由于ZNCC无法直接用于SLAM，因此需要做一些调整
再说调整之前，我们讨论以下理论上Text 所表示的像素的ZNCC公式，如下：
$$ZNCC(I_h,I_t)=\sum _{m\in \Omega }(\widetilde{I_h}(m)\widetilde{I_t}(m^{\prime }){)}^2$$其中强度计算公式
$$\tilde{I}(m)=(I(m)-{\bar{I}}_{\Omega })/{\sigma }_{\Omega }$$
${\bar{I}}_{\Omega }$表示区域范围内的强度均值，${\sigma }_{\Omega }$表示对应的标准差

由此可以看到ZNCC并不能写成类似于误差函数一样的形式，也就是无法构建最小二成问题，于是本文中修改成
$$E(I_h,I_t)=\sum _{m\in \Omega }(\widetilde{I_h}(m)-\widetilde{I_t}(m^{\prime }){)}^2$$
展开之后：
$$E(I_h,I_t)=\sum _{m\in \Omega }(\widetilde{I_h}(m{)}^2+\widetilde{I_t}(m^{\prime }{)}^2)-2\sum _{m\in \Omega }\widetilde{I_h}(m)\widetilde{I_t}(m^{\prime })$$
那么问题等价于最大化ZNCC误差，考虑text 为$\pi$目标坐标系为k的情况，重投影误差函数最终如下：
$$E_{photo}^{\pi ,t}=\sum _{m\in \Omega }\varphi (({\tilde{I}}_h(m)-{\tilde{I}}_t(h(m,T_h,T_t,{\theta }^{\pi })){)}^2)$$
$\varphi (\cdot )$是huber 核函数，用于降低外点的影响

Text SLAM

该SLAM算法用 EAST 文本检测器
论文：East: an efficient and accurate scene text detector

1. 初始化
   1.1 East，文本框检测
   1.2 在上述步骤 得到的文本框内检测Fast 角点
   1.3 下一帧被采样时，KLT跟踪
   1.4 利用跟踪特征点，计算上述Text参数 $\theta$
   1.5 利用Text框的四个角所在的像素坐标，结合单应矩阵预测在下一个关键帧上的投影
   1.6后续步骤会保留上述初始化出的Text对象，在至少有5帧观测的情况下才会考虑加入到地图当中

2. 利用Text对象进行位姿计算
   通过最小化重投影误差$E(x)=E_{point}+{\lambda }_w{E}_{text}(x)$，其中两部分分别是点的重投影误差，以及text 区域的强度误差。因此，需要加入一个权重因子去均衡两部分误差的权重，该权重的计算方式为${\lambda }_m={\sigma }_{rep}/{\sigma }_{photo}$,两个$\sigma$分别表示点重投影误差的标准差和强度计算的标准差。

3. 结合text obj的BA
   局部BA，状态向量主要包含一个局部窗口的状态。BA的时候会选取一小部分Text 以及对应角点进行BA，Text内角点最多只选择15个点。

   文中提到$E_{text}$部分是高度非线性化的，因此需要一个比较准确的$T_t$来避免陷入局部最小。因此利用速度模型来预测相机pose，有了这个基础，我们可以通过迭代上述代价函数来更好的估计相机pose。

最后，TextSLAM和一般SLAM的主要区别在于，误差函数分成点和Text两部分