点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
来源丨将门创投
室内环境的自监督深度估计向来比室外环境更具挑战性，OPPO提出了一种新颖的单目自监督深度估计模型：MonoIndoor，通过深度因子化模块和残差姿态估计模块，提高了室内环境中自监督单目深度估计的性能。目前，该成果已被ICCV 2021接收。相关技术已申请专利。
论文链接：
https://arxiv.org/pdf/2107.12429.pdf
根据单张图像估计深度信息是计算机视觉领域的经典问题，也是一项具有挑战的难题。由于单目图像的尺度不确定，传统方法无法计算深度值。
随着深度学习技术的发展，该范式已经成为了估计单目图像的深度信息的一种解决方案。早期的深度估计方法大多是有监督的，即要求数据集包含单目图像和对应的深度真值支撑网络模型训练。
要想让图像含深度真值非常困难，一般需要精密的深度测量设备和移动平台“捕获”。因此，高昂的成本导致数据集的数据量较小，也意味着有监督学习的深度估计方式不适用于大规模的工业场景。
近日，OPPO提出了一种新颖的单目自监督深度估计模型：MonoIndoor。该方法能够在训练深度网络时仅使用图像本身作为监督信息，无需图像显式的目标深度值，在降低对训练数据集要求的同时，提升了深度估计的适应性和鲁棒性。目前，该成果已被ICCV 2021接收，相关技术已申请专利。
具体而言，该论文研究了更具挑战性、场景更复杂的室内场景自监督深度估计，在三个公开数据集：EuRoC、NYUv2、7-Scenes上进行测试时，其性能优于Monodepth2等方法，达到了自监督深度估计领域内的最佳性能。
一、如何实现室内场景深度估计？
虽然对于自监督深度估计已经有了不少研究，其性能已经可以与有监督方法相媲美，但是这些自监督方法的性能评估要么只在户外进行，要么在室内表现不佳。
对于原因，OPPO研究院的研究员认为：同户外场景相比，室内场景通常缺少显著的局部或全局视觉特征。具体而言：
1. 室内场景景深变化剧烈，使得神经网络很难推演出一致的深度线索。
2.室内场景下，相机运动通常会包含大量的旋转，从而给相机姿态网络造成困难。
基于以上观察，研究员提出两个新的模块尝试解决上述两个困难。其中，深度因子化模块（Depth Factorization） 旨在克服景深剧烈变化给深度估计造成的困难；残差姿态估计模块（Residual Pose Estimation） 能够提高室内场景下相机旋转的估计，进而提升深度质量。
MonoIndoor模型架构一览
模型工作原理如上图所示，深度因子化模块采用编解码器的深度网络来估计相对深度图，使用非局部标度网络（non-local scale network）估计全局标度因子（global scale factor）；残差姿态估计模块用姿态网络估计一对帧的初始摄像机姿势，然后根据初始姿势，用残差姿态网络迭代估计残差相机姿势。
二、模型架构之深度因子化模块
深度因子化模块的骨干模型是Monodepth2，它的自动掩码机制可以忽略那些在单目训练中相对摄像机静止的像素；同时采用多尺度光度一致性损失，以输入分辨率执行所有图像采样，减少了深度失真。
在Monodepth2的基础上，研究员提出了自注意指导的标度回归网络（self-attention-guided scale regression network）对当前视点的全局尺度因子进行估计。
标度网络作为深度因子化模块的另一个分支，其以彩色图像为输入，全局标度因子为输出。由于全局标度因子和图像局部区域密切相关，研究员在网络中加入了自注意块，以期指导网络更多地“关注”某信息丰富的区域，从而推导出深度因子。公式如下，给定图像特征输入，输出为Query、键（key）、值（values）。
此外，为了稳定估计全局标度因子，研究员还在网络中添加了概率标度回归头（Probabilistic Scale Regression Head）。公式如下，全局标度是每一标度的加权概率求和：
三、模型架构之残差姿态估计模块
与已有方法在数据预处理过程中专注于“去除”或“减少”旋转成分（rotational components）不同，OPPO研究员提出的残差姿态估计模块，可以用迭代的方式学习目标和源图像之间的相对相机姿态。
一次姿态估计分解为两次姿态估计的示例
第一步：姿态网络将目标图像和源图像作为输入，并估计初始相机姿态。
第二步：用上述公式从源图像进行双线性采样，重建一个虚拟视图。
第三步：利用残差姿态网络，将目标图像和合成视图作为输入，并输出残差相机姿态（residual camera pose）。其中，残差相机姿态指的是合成视图和目标图像之间的相机姿态。
第四步，从合成图像进行双线性采样，公式如上↑。
最后，获得新合成视图之后，继续估计下一个的残差姿态。此时，双线性采样公式的一般化为↓：
多次估计之后，残差姿态可以动态的写为↓：
综上，通过迭代法估计残差姿态，能够获得更准确的相机姿态，更好的进行深度估计。具体实验效果如下一部分所述。
四、性能评估
为了说明模型MonoIndoor的效果，研究员在EuRoC MAV、NYUv2、RGBD 7-Scenes三个权威数据集上进行了评估。采用业界通用的单目深度估计量化指标：绝对相对差（AbsRel）、均方根误差（RMSE）；以及三个常用的阈值下的准确度。
具体到实验配置，研究员使用PyTorch实现模型，每个实验用Adam优化器训练40个epochs，在前20个epochs学习率设置为 ,另外20个设置为 ；平滑项和consistency term分别设置为0.001和0.05。
五、实验结果之EuRoC MAV
将Monodepth2作为基线模型进行对比，结果如上表所示，深度因子化模块能够AbsRel从15.7%降低到14.9%；残差姿态估计模块将AbsRel降低到14.1%，整个模型在所有评估指标中都实现了最佳性能。
通过上图，我们可以定性的发现，MonoIndoor 做出的深度估计比Monoepth2要好得多。例如，在第一行中，MonoIndoor可以估计图片右下角的“洞区域”的精确深度，而Monoepth2显然无法估计。
六、实验结果之NYUv2
MonoIndoor 与最新的SOTA监督和自监督方法性能对比结果如上表所示，在自监督方面，能够在各项指标上达到最佳，在与有监督方法对比方面，也能够“打败”一组，从而缩小了自监督和有监督方法之间的差距。
上图可视化了NYUv2上的深度估计效果。与Monoepth2的结果相比，MonoIndoor的深度估计更加接近真实情况。例如，第一行的第三列，MonoIndoor对椅子区域的深度估计更加精准。
七、实验结果之RGB-D 7-Scenes
上表给出了MonoIndoor微调前与微调后在RGB-D 7-Scenes数据集上的测试结果，通过在各个场景给出的各个指标，显示了MonoIndoor更好的泛化能力和鲁棒性。例如，在场景“Fire”上，MonoIndoor减少了1.2%的AbsRel；在场景“Heads”上，MonoIndoor减少了1.8%的AbsRel。
八、结语
近年来，人工智能产品在各个行业迅猛发展，机器人学、三维重建、目标追踪等领域对深度估计技术的准确性和效率要求越来越高。然而目前主流的深度估计方法常由于外界环境或是成本原因，很难在工程上得以应用并达到相关需求。
另一方面，目前关于图像深度估计研究很多，可用的公共数据集却相对较少，且公共数据集中的场景相对不够丰富，大大限制了深度估计算法的泛化能力。
OPPO通过自研无监督算法，设计了适合室内场景的模型，能够在不依赖数据标注的情况下，显著提升神经网络在室内场景下的深度估计效果。这一方面体现了OPPO对人工智能应用场景的理解，也说明了它对人工智能前沿学术问题的独特把握。
Illustrastion by Anna Golde from Icons8
本文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程推荐：
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列三维点云系列结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
