每天一篇论文 253/365 Mono-Stixels: Monocular depth reconstruction of dynamic street scenes

Mono-Stixels: Monocular depth reconstruction of dynamic street scenes

这篇文章是在googel structure-of-motion的基础上，增加了对图像中不同类别的区分，对图像中的运动和静止的物体通过 Stixels进行描述，在运动过程中对运动物体进行回归，能够更好地跟踪运动物体。

相关论文Depth from Video in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras

Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos

Mono-Stixels：动态街景单目深度重建

摘要

本文提出了一种用于动态街道场景的紧凑的环境表示方法——单像素。单点体像素是一种从单目相机序列中估计单点体像素的新方法，取代了传统的立体深度测量方法。该方法基于光流估计、像素语义分割和摄像机运动，将动态场景的深度、运动和语义信息作为一维能量最小化问题进行联合推理。stixel的光流由单应描述。通过应用单体stixel模型，一个stixel单应的自由度降低到只有两个自由度。此外，我们利用场景模型和语义信息来处理移动对象。在我们的实验中，我们使用公共可用的deepflow进行光流估计，使用fcn8s作为语义信息的输入，并在kitti 2015数据集上显示，单体像素提供了场景静态部分和移动部分的紧凑和可靠的深度重建。因此，单体stixels从运动方法上克服了以往结构对静态场景的限制。

方法

在以往深度估计的基础上，增加了语义分割与光流估计，使得对于运动物体构造一个Stixels 分割立体像素

这个方法在 Structure of motion 中有提到，但是作者增加了分类和光流

为了使得Stxiel能够在运动过程中回归，作者提出EM优化方程，能量优化方程

对以上方程做回归

结果

实验结果中将蓝天，道路，车辆，动态车辆，静止车辆进行检测