传统的立体匹配算法包括四个模块:特征提取模块,特征匹配和代价聚合模块,视差/深度估计模块,后处理/视差细化模块。
随着深度学习在图像分类、分割等领域获得巨大成功,基于深度学习的立体匹配方法也渐渐发展。总体来说可以分为非端到端的方法和端到端的方法。本文主要简要概括端到端的方法,端到端的方法通过CNN学习视差估计。主要分为两类:
- 早期将深度估计视为回归问题,深度图直接从输入回归,而没有明确匹配视图中的特征,比如DispNetS。
- 通过将问题分解为由可微块组成的阶段来模拟传统的立体匹配管道,从而允许端到端的训练。
下面列举端到端的立体匹配网络。
论文链接: