双目估计方法_计算专题 | 自动驾驶场景实例级视差估计实现双目三维物体检测 (IEEE CVPR)...

实例级视差估计实现双目三维物体检测

Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance Disparity Estimation

本期导读

    本期分享探讨当前人工智能和计算光学热门应用方向自动驾驶领域一个重要问题：快速有效地检测三维物体。众所周知，使用双目图像进行物体三维检测在自动驾驶等场景中占据很重要的地位。简单来说，使用双目图像作为输入，先估计出车辆图像每个像素的视差，再转换成伪点云，使用点云输入的三维检测器进行物体检测。然而，大部分的方法对全图所有像素进行视差估计，因此在车辆表面等纹理较少位置的估计质量不佳，而且由于物体前景在图像中只占据很小的部分，这些方法也会在大片的背景区域进行不必要的计算。另外，由于视差标注数据的缺乏，大多数方法使用激光雷达的数据进行神经网络训练，对激光雷达数据的依赖限制了这些方法在实际场景中的应用。为克服这些问题，来自浙江大学的研究人员与商汤科技合作提出了基于实例级视差估计的双目三维物体检测方法，发表于计算机视觉顶会IEEE CVPR 2020。

技术思路

    如图1所示，该研究工作提出只在图像前景区域进行实例级视差估计，使得视差估计网络能够学习到指定类别的形状先验，从而能够比全图估计视差的方法输出更准确的视差。所谓实例级视差，就是像素点在对齐后的左右目Region of interest (RoI)中水平坐标的差值。技术上将实例级视差转换为实例级点云，使用点云输入的三维检测器进行物体检测。在视差估计过程中，由于实例级视差相对全图视差值的分布更加集中，构建损失量过程的视差搜索范围减少了一半；在三维检测网络中，由于输入点云的数量也得到了很大程度的减少。以上改进都使得该算法的运行效率有了很大提升。

图1 Disp R-CNN三维物体检测流程。Disp R-CNN首先进行二维检测，然后使用iDispNet仅对前景区域进行实例级视差估计，而后转换成实例级点云，并使用三维检测器进行三维检测。

    为了克服视差标注数据匮乏的问题，该研究工作进一步提出了借助物体类别的形状先验重构物体再渲染的方法来生成实例级视差的标签。具体而言，使用TSDF空间的PCA模型来表示车辆的形状先验，在雷达点云和三维位姿等几何约束下优化重构车辆形状，并渲染到图像平面形成前景的视差标签。即使没有激光雷达数据，该方法也可以产生高质量的实例级视差数据来进行神经网络训练。机车重构的流程图如图2所示。

图2 机车重构的流程通过调整TSDF空间的PCA系数来重构车辆。图中的三个分支分别最小化：点云到车辆表面的距离，三维尺度和标注尺度的差距和PCA系数的正则化损失。

    在KITTI数据集上的实验表明，Disp R-CNN在KITTI数据集上的平均精度在双目输入方法中达到当前最佳；尤其在训练过程不借助激光雷达数据时，Disp R-CNN得到的结果比之前方法超出20%。部分实验结果和伪标签可视化图3所示。

图3自上而下：Disp R-CNN的三维检测结果，iDispNet的前景视差估计结果和视差伪标签可视化结果。

    总结而言，该研究工作实现了基于双目输入的三维物体检测，实验和仿真结果表明在只监督前景视差的情况下，视差估计的质量有非常明显的提升，三维检测的精度相比于之前方法也有很大的提升，相信将会很大程度促进自动驾驶领域的研究和工程应用化发展。

    目前该研究论文所附的代码和伪标签数据已经公开，更多技术细节和代码详见：

Disp R-CNN: Stereo 3d object detection via shape prior guided instance disparity estimation. In CVPR, 2020 

https://github.com/zju3dv/disprcnn

回顾与预告

上期回顾：计算专题 | AI+VRAR语义化自动三维场景设计及可视化 (IEEE CVPR)(欢迎点击查阅)

下期预告：我们将不定期持续推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。 p.s. 本公众号IntelligentOpticsSharing (I.O.S.)运营背后以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台，还望大家多多海涵支持，欢迎拍砖。end