论文笔记：Efficient Deep Visual and Inertial Odometry with Adaptive Visual Modality Selection

---

前言

说在前面：本人是个菜鸡，纯菜鸡，以下我的理解绝对会有错误，欢迎指正共同进步！
文章题目：Efficient Deep Visual and Inertial Odometry with Adaptive Visual Modality Selection
论文链接：论文
代码链接：代码

一、方法

贡献点
1.提出了一种新颖的方法，自适应禁用视觉模态，实现高效的基于深度学习的VIO。
2.提出一种新颖的策略网络，与姿态估计网络联合训练，学习视觉模态选择策略，以启用或禁用视觉特征。
3.显著减少计算量
总体框架：

网络结构为：

都很好理解。

1.视觉模态选择策略

通常的端到端VIO直接将图像和IMU信息编码后串联，输入到RNN中进行处理，本文提出一个选择策略，通过当前的IMU信息和上一次的隐藏状态来判断是否使用视觉信息，先通过一个轻量级策略网络输出一个概率：

（这里的x的符号应该写错了，应该上面i下面t）
其中pt∈R2表示伯努利分布的概率，然后使用Gumbel-Softmax运算对二元决策dt进行采样：

其中dt∈{0,1}，然后判断是否使用视觉信息：

其中⊕表示串联操作。
当dt = 1时，使用视觉特征，视觉特征和惯性特征串联，送入到LSTM中。
当dt = 0时，禁用视觉特征，使用补零操作替换视觉特征，保持输入到LSTM中的唯独相同。

2.Gumbel-Softmax训练

遵循伯努利分布的采样dt本质上是离散的，这使得网络不可微。因此，通过反向传播训练策略网络并非易事，
Gumbel-Softmax本质上是分类分布的重新参数化技巧。
当k = 1, …, K 时，第k个类别的概率为pk，在文中进行二元分类，所以K=2，根据Gumbel-Max技巧，遵循目标分布的离散样本^P：

其中gk=-log(-logUk)是一个标准的Gumbel分布，随机变量Uk是从均匀分布U(0,1)中抽样得到的。
公式理解：最小化伯努利概率和标准Gumbel分布的和，来求得类别K，在网络中用于前向传播，判断是否启用视觉特征。
随后，应用softmax函数，通过可微函数获得实值向量

其中τ是控制 ̃P的“离散性”的参数。这个公式结果近似梯度，用于反向传播，以训练策略网络。

3.损失函数

位姿均方误差（MSE）：

其中T是训练的序列长度，vt和φt表示真实平移和旋转向量，α=100平衡旋转和平移的权重。
此外，对每个视觉编码器的使用应用额外的惩罚因子λ，以鼓励禁用视觉特征，计算平均惩罚并将其表示为效率损失：

最终的损失为：