DAVIS第八课: EMVS- 基于事件相机的多立体视野3D环境重建

1. 摘要

事件相机与传统视觉相机的数据输出不一致, 因此需要转换处理模式.

EMVS优雅地利用事件相机的两个固有属性:

• 天然提供几何边缘信息;
• 提供连续的数据测量信息;

本文的算法利用上述两个特性,在已经事件相机的运动轨迹下,能够给出精确地的, 中稠密深度地图, 且不要求任何的数据关联和强度估计.

我们的算法是非常有效的,能够在CPU上实时处理.

2.Event-based Multi-View Stereo && MVS

• 基于事件相机的深度估计

  • 仅考虑单个相机
  • 不要求仿真事件观测

我们能够在不解决数据关联的情况下, 完成深度估计.

• 传统MVS与EMVS的区别

  • EMVS必须考虑稀疏和异步的事件属性;
  • EMVS要求事件相机一直处于运动状态;
  • EMVS中相机的输出就是一种强度边缘, 所以EMVS的输出就是一种3dMap

基于MVS的3D环境估计去描述EMVS的环境恢复方法.

• 传统MVS与EMVS获取深度图的区别(DSI)

  DSI -- 视差空间图像

  • MVS中, DSI是采用像素的强度估计的; EMVS中事件是稀疏的,所以DSI中可能有孔(没有得分的体素)

  • MVS中,通过在DSI找到一个最佳表面获取场景目标; EMVS中, 查找半密集结构（例如点，曲线）与DSI的稀疏性更好地匹配。

<