【论文阅读笔记】Rational Polynomial Camera Model Warping for Deep Learning Based Satellite Multi-View Stereo

Rational Polynomial Camera Model Warping for Deep Learning Based Satellite Multi-View Stereo Matching

主要贡献

1. satellite MVS (SatMVS) framework for large-scale and wide depth range Earth surface reconstruction.
2. the TLC SatMVS dataset

摘要

卫星多视点立体(MVS)图像特别适合于大范围的地表重建。与近距离和航空相机常用的透视相机模型(针孔模型)不同，三次有理多项式相机(RPC)模型是推扫式线阵卫星相机的主流模型。然而，目前流行的基于学习的MVS方法中使用的单应翘曲仅适用于针孔相机。为了将基于SOTA学习的MVS技术应用于卫星MVS任务中的大规模地表重建，需要考虑RPC翘曲问题。在这项工作中，我们首次提出了一个严格的RPC翘曲模型。有理多项式系数被记录为张量，RPC翘曲被表示为一系列张量变换。在此基础上，提出了基于深度学习的卫星MVS(SatMVS)框架，用于大范围、大深度范围的地表重建。我们还介绍了一个由519幅5120×5120图像组成的大尺度卫星图像数据集，我们称之为TLC SatMVS数据集。卫星图像是从一个同时捕捉三视图图像的三线相机(TLC)获得的，这是对现有的具有单扫描线图像的开源WorldView-3数据集的宝贵补充。实验表明，与针孔拟合法和传统的MVS方法相比，本文提出的RPC翘曲模型和SatMVS框架可以获得更高的重建精度。有关代码和数据，请访问https://github.com/WHU-GPCV/SatMVS.

模型细节

我们提出了一个嵌入RPC Warping的卫星MVS深度学习框架，我们称之为SatMVS框架。除了RPC翘曲的必要部分外，我们认为在这样的框架中，从粗到精的多阶段处理也是必要的，以预测大范围的地球表面高程。其他部分，如特征提取、代价图正则化和回归模块，可以借鉴最新的方法[10，20，31]。最后，我们得到了完整的SatMVS框架，如图3所示。

4.1.多尺度特征提取

当前的多尺度MVS方法利用流行的特征提取工具，如特征金字塔网络[19]或联合国教科文组织[25]。所有这些都可以在SatMVS框架中使用。对于实验，我们采用了一个权重共享的多尺度特征提取器[5]，它由一个具有跳跃连接的编码器和一个解码器组成，用于提取特征。该模块输出一个三比例的特征金字塔，大小为输入图像大小的{1/16，1/4，1}，通道数分别为32，16，8。

4.2.Multi-Stage Cost Volume Construction with RPC Warping

卫星图像覆盖的数百公里的地貌可能存在巨大的海拔差异。我们假设最大高度差为2千米。如果高度间隔设置为2.5m，大致相当于ZY-3图像的像素分辨率，则800个假设平面可以以像素级精度覆盖整个高程范围。相反，近距离数据集的深度搜索范围相对较小(例如，DTU数据集中的128或256个平面)。为了降低对GPU内存的高要求，提高学习速度，采用了基于特征金字塔的多尺度学习方法。在第一阶段(i=1)，搜索范围应覆盖覆盖区域的最大高度和最小高度之间的范围。此信息可在可用的RPC参数中找到。或者，一些开源的全球数字高程模型(DEM)产品，如航天飞机雷达地形任务(SRTM)DEM[15]或高级星载热发射和反射辐射计(ASTER)全球数字高程模型(GDEM)[7]可以用作信息源。假设平面的数量在第一阶段中是固定的(例如，64个)。然后，通过将高度差除以假设平面的数量来确定高度间隔。对于阶段I(I⩾2)，假设平面的间隔和数目是经验固定的，并且假设平面以最后一阶段的参考高度为中心。来自源视图的特征地图通过RPC翘曲被翘曲到参考视图，以形成多个特征体积，然后使用基于方差的操作将这些特征体积融合到成本体积[32]。

4.3.规则化

最近的MVS网络使用一系列3D卷积[32]或2D卷积GRU[33]来规则化成本量。两者都可以在SatMVS框架中使用。在实践中，我们使用红网[20]的递归编解码器结构来规则化在每个阶段构建的代价图。与3D卷积相比，RED结构沿着高程方向对代价图进行顺序规则化，实现了高效率和低存储开销，显著有利于处理大容量卫星图像的大高度搜索范围。

4.4.高度干扰

在正则化后，沿高度方向应用软argmin运算进行亚像素估计。在训练阶段，金字塔网络输出三种分辨率的高度图。与已有文献[2，10]类似，总损失定义为三阶段L1损失的加权和，其中权重分别为{0.5，1，2}。

4.5.管道

我们为基于RPC的网络设计了一条完整的管道来重建最终的DSM，包括1)图像预处理；2)MVS推理；3)DSM生成。在前处理中，将研究区在世界坐标系(通常为WGS-84坐标系)中划分为规则块，并将每个块分别投影到MVS卫星图像上，得到该块的最大和最小高程平面。计算不同视图中两个投影区域的最小边界矩形，将其扩展到统一的大小，并作为网络的输入进行裁剪。该过程确保了多个视图的裁剪图像块之间有足够的重叠。此外，还可以使用伽马校正和线性增强来提高对比度。在MVS推理中，裁剪的图像被馈送到所提出的SatMVS框架中。将每个视点图像作为参考图像，依次推断高度图。在DSM生成中，几何一致性[32]被用来过滤不同视图的推断高度图中的离群值。如果第j个视图的重新投影点与参考视图中的原始点之间的距离小于1个像素，则认为估计结果在几何上一致且有效。然后将有效的匹配结果转换到通用横向墨卡托(UTM)坐标系，并重新采样到正则化的DSM。我们还提出了SatMVS流水线的单应翘曲版本。对于不能直接用于卫星图像的基于单应翘曲的网络，在图像预处理部分，根据文献[34]，将每幅裁剪图像的RPC模型与针孔模型进行拟合。在MVS推理和DSM生成部分，一直使用拟合模型来代替严格的RPC模型。

实验