视角不平衡立体匹配研究

©PaperWeekly 原创 · 作者｜张承灏

学校｜中科院自动化所硕士生

研究方向｜场景感知和深度估计

一个典型的立体视觉系统通常包括一台具有左右两个摄像头的摄像机，两个摄像头在同一水平线上、同一时刻成像，得到左右两个视角的 RGB 图像。利用立体匹配（stereo matching）算法可从来自左右视角的两幅 RGB 图像中得到用于三维场景重建的深度信息。

无论是传统算法还是基于深度学习的算法，大多数研究是基于平衡视角的立体匹配，即左右视角图像是由具有相同相机内参的摄像头，同时成像的 RGB 图像。

近来，不少研究开始关注不平衡视角的立体匹配。根据左右视角图像的不同，已有的研究工作可以分为以下几类：

• 经典的立体匹配：左右图是相同相机，同时成像的 RGB 彩色图像；

• 跨谱立体匹配：左图是可见光 RGB 彩图，右图是红外图像；

• 视觉不平衡立体匹配：左图是高质量的 RGB 图像，右图是低质量的 RGB 图像；

• 长短焦立体匹配：左图是短焦距、宽视角 RGB 图像，右图是长焦距、窄视角 RGB 图像；

本文主要介绍后面三类的代表性研究工作。

跨谱立体匹配

论文标题：Unsupervised Cross-spectral Stereo Matching by Learning to Synthesize

论文来源：AAAI 2019

论文链接：https://arxiv.org/abs/1903.01078

1.1 概述

多摄像头多光谱系统在很多现代设备中变得十分普遍，并且红外图像对于人脸识别，目标检测和场景解析等领域具有很大的帮助。因此，跨谱立体匹配具有很大的研究价值。

如上图所示，跨谱立体匹配指的是左图是可见光图像（a），右图是近似红外图像（b）。跨谱立体匹配的挑战在于两方面：一是可见光图像和红外图像在视觉外观上具有很大的差异，例如（c）中显示的衣服，灯光和草坪。二是跨谱图像的真实视差往往难以获取。本文采用 cycleGAN 以无监督学习的方式来实现不平衡视角的跨谱立体匹配。

1.2 方法

上图是跨谱立体匹配的总体框架图。网络分为两个部分，一是谱变换网络 STN，从 cycleGAN 改进得到，用来将可见光左图和红外右图变换到可见光右图和红外左图。二是立体匹配网络 SMN，从 DispNet [1] 改进得到，利用变换得到的可见光右图和红外左图估计左右图视差。下面重点介绍这两个网络，核心是损失函数的设计。

谱变换网络STN

给定来自谱 A（可见光）的图像 , 和谱 B（红外）的图像 , 首先定义三种映射：

其中 F 将 编码到一个统一的特征空间 ， 和 分别是将特征解码到相应谱得到图像的生成器。 ， 和 由对抗损失和循环重构损失监督。其中对抗损失由两个判别器 和 给定，判别器用来鉴别生成图像的真伪。

对于判别器的训练：对 采用分类损失，以判断生成的谱 A 的图像是真是假，对于 同理，因此训练判别器的损失为：

对于生成器的训练：采用对抗损失和循环重建损失。对抗损失用来迷惑判别器，通过最大化判别器的分类误差，生成器的对抗损失为：

生成器的循环重建损失为：

其中 是 ，而