【paper】Unsupervised Monocular Depth Estimation with Semantic-aware Representation

最新推荐文章于 2024-03-06 15:06:20 发布

lingzhou33

最新推荐文章于 2024-03-06 15:06:20 发布

阅读量891

点赞数

分类专栏： paper 文章标签：语义分割深度预测

本文链接：https://blog.csdn.net/lingzhou33/article/details/94482690

版权

本文提出一种名为SceneNet的框架，旨在无监督地进行单目深度估计，并结合语义分割信息提高预测准确性。通过解决深度与视差之间的不匹配问题，SceneNet包含一个公用的编码解码结构，能处理多任务学习，同时适用于不同的数据集。实验表明，该方法在KITTI和Cityscapes数据集上取得了最先进的结果。

摘要由CSDN通过智能技术生成

论文地址： CVPR2019_Unsupervised Monocular Depth Estimation with Semantic-aware Representation

Motivation

对于场景理解与表示，depth 可以给予的是立体结构的信息，而segmentation(下面简称seg)可以给予的是语义的信息。两者在其包含内容上其实存在某种一致性。所以作者想要无监督的预测depth 并且加入有监督的seg来增强 depth map 的预测结果

contribution

1、指出了最近一些无监督预测depth的方法中可能出现的 “mismatch problem”（不匹配的情况。会在下面详细给出）
2、提出了一个叫做ScenceNet的东西可以同时得到几何信息和语义信息。这其中包含了三个模块，会在下面给出
3、端到端的网络结构使得作者可以利用不同的数据集进行训练
4、得到了state-of-the-art结果

Framework

文章网络结构
作者的目的在于直接从一张单目图像中预测出depth的信息。但是在实际操作中，他预测的是一个叫做视差（disparity）的东西，因为视差与depth存在一定的关系式，可以看作disparity与depth成反比。并且无监督的去预测depth中一个很主流的做法就是通过左右眼立体图像去算视差。
（不知道视差的同学可以先行百度一下）
想要同时处理无监督的depth predicition 与有监督的seg predicition, 所以他提出了这样的端到端的（end-to-end）结构，能够根据不同的任务共同训练公用的网络结构部分（即图中的encode与decode部分）。