【论文阅读】**Cross-Modality depth Estimation via Unsupervised Stereo RGB-to-infrared Translation**

【论文阅读】Cross-Modality depth Estimation via Unsupervised Stereo RGB-to-infrared Translation

基础信息

ICASSP 2023 - 2023 IEEE 声学、语音和信号处理国际会议 (ICASSP)

Cross-Modality depth Estimation via Unsupervised Stereo RGB-to-infrared Translation

论文链接：https://ieeexplore.ieee.org/abstract/document/10095982

数据集：

目标：

代码：

已有方法的问题

1. 由于KITTI中缺乏成对的RGB-IR数据，很难将IR图像的内在特征准确地表达为正则化并保持场景语义一致性，以有效地训练翻译网络无监督的方式
2. 在为双目深度估计方法生成立体红外图像时，我们必须保持左右视图之间的立体一致性。现有的单视图平移方法[18]、[19]通常无法在两个生成的视图上生成几何一致的纹理。

本文的创新点

1. 框架由RGB到IR转换（RIT）网络组成，用于从相应的立体RGB图像合成立体IR图像，以及跨模态深度估计（CDE）网络来估计跨模态 RGB-IR 立体对的差异
2. 我们的核心思想是从可用的成对 RGB-IR 数据集1中学习单视图 RGB-IR 关系，然后将其推广/适应目标 KITTI 立体数据集
3. 无监督傅里叶域适应策略来促进翻译任务，该策略采用自集成来对齐从源数据和目标数据中提取的特征，将 RGB-to-IR 关系转移到目标域

整体架构

实验

代码细节

介绍

深度估计是许多计算机视觉应用的一项基本任务[1]、[2]、[3]。随着CNN的发展，许多算法进一步提高了深度估计的性能。主流方法是从立体图像估计场景深度。根据训练方式的不同，监督方法[4]、[5]、[6]使用真实视差图直接指导训练，而无监督方法[7]、[8]、[9]将深度估计重新表述为利用立体关系作为监督来辅助训练的图像重建问题。

一般来说，大多数现有方法[ 4,5,6,10,11,7,8,9,12,13 ]仅使用可见光（RGB ）图像进行估计。_ _ _ 虽然RGB图像具有丰富的纹理和高对比度，但成像对光线的变化非常敏感，导致在能见度下降的条件下难以准确估计。相反，红外（IR）成像捕捉物体的热辐射，纹理较少，对比度较低，但相对于RGB图像有其自身的优势，例如对光线变化的不变性，对雾/雨/雪天气的穿透力更高以及更远的检测距离，可以为深度估计提供更有意义的线索。然而，受限于低对比度和较少纹理的特点，基于红外图像的方法[14]、[15]、[16]无法以足够的精度估计深度。因此，迫切需要一种 RGB-IR 跨模态的深度估计方式，以便以更鲁棒的方式进行估计。然而，红外图像的获取存在巨大障碍。一些常用的数据集（例如 KITTI [17]）没有配对的立体红外图像和 RGB-D 数据。尽管市场上有一些硬件解决方案，但通常需要额外的红外传感器。此外还面临图像收集和配准的挑战。因此，如何有效地获得配对的立体红外图像成为本工作要解决的首要问题。

图像翻译[18]是解决该问题的一种可行方法，考虑到RGB-IR对之间的强结构相似性，通过从相应的RGB图像生成IR图像。然而，我们的困难在于：1）由于KITTI中缺乏成对的RGB-IR数据，很难将IR图像的内在特征准确地表达为正则化并保持场景语义一致性，以有效地训练翻译网络无监督的方式。2）在为双目深度估计方法生成立体红外图像时，我们必须保持左右视图之间的立体一致性。现有的单视图平移方法[18]、[19]通常无法在两个生成的视图上生成几何一致的纹理。在本文中，我们通过正确设计无监督学习方案和立体约束成功地解决了这两个挑战。

具体来说，如图1所示，我们提出了一个框架，该框架由RGB到IR转换（RIT）网络组成，用于从相应的立体RGB图像合成立体IR图像，以及跨模态深度估计（CDE）网络来估计跨模态 RGB-IR 立体对的差异。我们的核心思想是从可用的成对 RGB-IR 数据集1中学习单视图 RGB-IR 关系，然后将其推广/适应目标 KITTI 立体数据集。因此，我们提出了一种无监督傅里叶域适应策略来促进翻译任务，该策略采用自集成来对齐从源数据和目标数据中提取的特征，将 RGB-to-IR 关系转移到目标域。由于红外图像具有低对比度和包含许多平滑区域的特性，我们用频率统计重新表达它们，并在傅立叶域中应用域对齐。对于立体约束，我们引入了多空间扭曲正则化来生成几何一致的立体红外图像，这增强了输出、特征和亲和空间的两个视图之间的左右一致性。我们的主要贡献如下：

• 我们摆脱了一般范式的束缚，首先引入了一种新颖的跨模态深度估计方案，该方案既可以克服基于单模态方法的弱点，又可以保持对训练数据集的低要求。
• 我们提出了傅里叶域适应和多空间扭曲正则化，以使无监督立体翻译变得可行。
• 在合成立体红外图像的辅助下，与现有的基于单模态 (RGB) 的方法相比，我们在 KITTI 上获得了卓越的性能。我们的方案可以灵活地部署到大多数现成的深度估计骨干网，包括无监督[13]、[21]和监督方法[11]，以提高其性能。