VSLAM常见问题

1.为什么SLAM 需要滑动窗口算法?

• 随着VSLAM 系统不断往新环境探索，就会有新的相机姿态以及
  看到新的环境特征，最小二乘残差就会越来越多，信息矩阵越来
  越大，计算量将不断增加。
• 为了保持优化变量的个数在一定范围内，需要使用滑动窗口算法
  动态增加或移除优化变量。

滑动窗口算法大致流程
1.增加新的变量进入最小二乘系统优化
2 如果变量数目达到了一定的维度，则移除老的变量。
3 SLAM 系统不断循环前面两步.

(ps:利用边际概率移除老的变量直接丢弃变量和对应的测量值，会损失信息。正确的做法是使用边际概率，将丢弃变量所携带的信息传递给剩余变量。)

2. 边缘化

通常的边缘化是将联合概率分布分解为边缘概率分布和条件概率分布的过程，这样可以将Sliding Window中较旧的状态边缘化出Sliding Window，同时保留其信息。并且保证了对应H海塞矩阵的稀疏，从而实现计算资源和计算精度的平衡。VINS中也可以将最旧的状态边缘化，但是在一些退化的运动下（例如悬停或者匀速运动），会造成当前运动状态的scale不可观，因此需要有选择地边缘化当前Sliding Window中的状态。具体来说，至少两个轴的加速度分量不为0时，尺度才是可观的。VINS中实现的是保留视差较大的状态及其观测，而优先边缘化视差较小的状态。

marginalization 会使得信息矩阵变稠密！原先条件独立的变量，可能变得相关。

3.滑动窗口算法导致的问题

滑动窗口算法优化的时候，信息矩阵变成了两部分，且这两部分计算雅克比时的线性化点不同。这可能会导致信息矩阵的零空间发生变化，从而在求解时引入错误信息。

滑动窗口算法中，对于同一个变量，不同残差对其计算雅克比矩阵时线性化点可能不一致，导致信息矩阵可以分成两部分，相当于在信息矩阵中多加了一些信息，使得其零空间出现了变化。

解决办法：First Estimated Jacobian，FEJ 算法：不同残差对同一个状态求雅克比时，线性化点必须一致。这样就能避免零空间退化而使得不可观变量变得可观。

4.视觉前端

4.1SLAM 的框架

通常的SLAM 框架由前后端共同构成
1 前端：提取特征点，追踪相机Pose，定位相机
2 后端：提供全局优化或滑动窗口优化

4.2 光流

光流在SLAM 中的运用

1 光流可以追踪上一帧的角点
2 可以一直追踪该角点，直到超出图像范围或被遮挡
3 在单目SLAM 中，新提出的角点没有3D 信息，因此可通过追踪角点在各图像位置，进行三角化

光流的局限性

1 容易受光照变化影响
2 只适合连续图像中的短距离追踪，不适合更长距离
3 图像外观发生明显变化时不适用（例：远处的角点凑近看之后不为角点了）
4 对角点强依赖，对Edge 类型点表现较差
5 稀疏光流不约束各点光流的方向统一，可能出现一些outlier。

4.3 视觉几何基础

视觉技术
1 已知俩图像：特征点提取(fast)，匹配(光流，特征描述子).
2 已知俩图像特征匹配点：利用对极几何约束(E 矩阵，H 矩阵)，计算两图像之间的pose (update to scale).
3 已知相机pose, 已知特征点二维坐标: 通过三角化得到三维坐标.
4 已知3d 点，2d 特征点：通过Perspective-n-Point(PnP) 求取新的
相机pose.

5 ORB-SLAM 和 VINS框架