深蓝学院第5期VIO课程总结

从零开始手写VIO 第5期(Lesson 1)

从本文开始会陆续将VIO课程的作业进行一个总结，记录下之前的作业，权当自己的总结，由于github可能比较慢，所以放在了gitee，链接参见下方源码位置，欢迎大家参考，更新不易，如需转载，请著名出处，谢谢。

课程内容回顾

   第一讲的内容主要是对课程的介绍，VIO的概述，以及一些基础数学知识的回顾，相对来说比较简单
   这里直接贴上作业。

## 1 文献阅读

1.1 视觉与IMU进行融合后有何优势？

a. 视觉信息分析

​ 传统的单目视觉SLAM存在尺度问题，无法直接获取深度信息，需要进行三角化等方法来进行估计，此外，单目视觉SLAM对环境很敏感，在环境的光照变化明显，纹理特征不丰富等情况下容易出现定位失败的现象，另一方面，更新频率是相机的频率，比较低，在快速运动的情况下也容易导致定位失败。

b. IMU传感器分析

​ IMU传感器则相对稳定，受温度以外的影响比较小，能够自主积分定位，并且输出频率高，但是存在着误差累积，长时间情况下定位漂移的问题严重。

c. 视觉与IMU融合优势

​ 视觉信息与IMU信息的融合是一种信息互补，IMU的加入有以下优点:

​ 1) 能够解决初始化中的尺度问题

​ 2) 为视觉信息的匹配提供较好的初始值

​ 3) 可以估计重力方向

​ 4) 融合后的定位信息输出频率更高

​ 5) 在视觉的短时间失效的情况下能够作为一种补偿，不至于定位失败

1.2 有哪些常见的视觉 + IMU 融合方案？有没有工业界应用的例子？

1). 常见的视觉 + IMU融合方案

​ a. 优化方法: VINS, OKVIS, ORB + IMU, SVO+GTSAM

​ b. 滤波方法: rovio, msf, msckf, SVO+MSF,

2). 工业解应用的例子

​ 谷歌: Tango(目前已停产),ARCore

​ 微软: HoloLens

​ 苹果: ARKit

1.3 在学术界， VIO 研究有哪些新进展？有没有将学习方法用到 VIO中的例子？

1). VIO研究有哪些新进展？

a. GPS + VIO${}^{[1]}$: GPS信息和VIO的紧耦合，适用于长航时

b. GPU前端加速的VIO${}^{[2]}$: 利用GPU加速前端算法，Faster than FAST

c. 结合线段特征: PL-VIO${}^{[3]}$, Trifo-VIO${}^{[4]}$

d. 激光SLAM融合: V-LOAM${}^{[5]}$, VISO2 + LOAM${}^{[6]}$

等等…

[1]. Cioffi, Giovanni, and Davide Scaramuzza. “Tightly-coupled Fusion of Global Positional Measurements in Optimization-based Visual-Inertial Odometry.” arXiv preprint arXiv:2003.04159 (2020).

[2]. Nagy, Balázs, Philipp Foehn, and Davide Scaramuzza. “Faster than FAST: GPU-Accelerated Frontend for High-Speed VIO.” arXiv preprint arXiv:2003.13493 (2020).

[3]. YiJia, He, et al. “PL-VIO: Tightly-Coupled Monocular Visual–Inertial Odometry Using Point and Line Features.” (2018).

[4]. Zheng, Feng, et al. “Trifo-VIO: Robust and efficient stereo visual inertial odometry using points and lines.” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018.

[5]. Zhang, Ji, and Sanjiv Singh. “Visual-lidar odometry and mapping: Low-drift, robust, and fast.” 2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015.

[6]. Yan, Min, et al. “Loose coupling visual-lidar odometry by combining VISO2 and LOAM.” 2017 36th Chinese Control Conference (CCC). IEEE, 2017.

2). 有没有将学习方法用到 VIO中的例子？

a. Vinet${}^{[1]}$

b. DeepVIO${}^{[2]}$

b. 半监督，无监督学习的VIO${}^{[3]}$

[1].Clark, Ronald, et al. “Vinet: Visual-inertial odometry as a sequence-to-sequence learning problem.” Thirty-First AAAI Conference on Artificial Intelligence. 2017.

[2]. Han, Liming, et al. “DeepVIO: Self-supervised deep learning of monocular visual inertial odometry using 3D geometric constraints.” arXiv preprint arXiv:1906.11435 (2019).

[3]. Tian, Yuan, and Marc Compere. “A Case Study on Visual-Inertial Odometry using Supervised, Semi-Supervised and Unsupervised Learning Methods.” 2019 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR). IEEE, 2019.

2 四元数和李代数更新

2.1 源码

https://gitee.com/zmliu2020/vio-course ，

2.2 编译运行

###### 编译 ######
cd code_practice
mkdir build
cd build
cmake ..
make
###### 运行 ######
./main

2.3 结果展示

可以看到两种方式得到的结果十分接近。

3 其他导数

• $\frac{d(R^{-1}p)}{R}$

d ( R − 1 p ) R = lim ⁡ Δ ϕ → 0 ( R ∗ e x p ( Δ ϕ Λ ) ) − 1 p − R − 1 p Δ ϕ = lim ⁡ Δ ϕ → 0 e x p