视觉SLAM直接法简介 王锐

个人介绍
读博：TUM 机器视觉组 computer vision group
工作：微软 苏黎世 虚拟现实和混合显示组

1基础知识

三维几何学
epipolar geometry，一个点对提供1个约束方程。
特征点法 versus 直接法
SLAM: Tracks the pose of the camera in a map and simultaneously estimates the parameters of the environment map.
SfM：图像可以是无序的
VO with local map
VO w/o local map

特征点法 Re-projection Error
two-view one-point
像素位置差
Multi-view multi-point
卷帘效应，不同像素的曝光时间不同

直接法核心 Photometric Error
Two-view one-Point
像素颜色差 image wrapping
假设：对应的点在不同图像中的颜色一样
光度标定

warping function

2代表工作

应用
与特征点法结合

Direct image alignment
仿射变换参数：$a_i$, $b_i$ 一张图两个参数
单目：Pure temporal stereo does not constraint scale well. 时序上的双目
Direct Sparse Odometry是VO。
Introduce static stereo to address it.
看似很简单，实际很重要！
找到一个巧妙的方法来对尺度进行绝对限制。

Cityscapes Dataset

Next step after large-scale SLAM: Semantic mapping
PCA Model for cars
有向距离场，signed distance fields $\Rightarrow$ 5个主成分
轮廓线误差定义：
激光雷达的点作为ground-truth考虑。
没有残差的解析表达式。
有一些截断和遮挡，效果仍旧很好。

相机在线光度标定
光源，平面，反射，相机镜头，相机传感器，曝光时间内能量积累，响应函数输出，输出图像

暗角？？？
三个factor：响应函数$f$ (response)， 暗角（vignetting），曝光时间(runtime)
光度一致性假设 Brightness Constancy Assumption!
plug-and-play 即插即用
$$O(x)=f(eV(x)L)$$
L: radiance 辐射亮度
I: irradiance 辐射照度
V(x): 暗角，。。。
f: 响应函数，100个相机的响应函数

引入特征点进行回环检测

place retrieval 位置检索

3展望

局限性
未来工作和潜力

Loop detection and re-localization is not as straightforward as for feature-based methods.
随机采点。

增强点的描述性：颜色换成稠密的描述子，跨季节、时间和天气
充分利用点云：