【论文简述】A-SATMVSNet: Anattention-aware multi-viewstereo matching network based on satellie imagery

一、论文简述

1. 第一作者：Li Lin

2. 发表年份：2023

3. 发表期刊：FES_A

4. 关键词：MVS、三维重建、注意力机制、卫星图

5. 探索动机：目前基于注意力的MVSNet重建的大规模场景是不准确和不完整的。

根据输入数据的获取方式，三维重建技术可分为主动重建和被动重建。Active reconstruction technology uses hardwares to directly obtain the geometric information of the shot scene, to obtain the depth information of the target scene. Passive reconstruction technology uses cameras to obtain some images to reconstruct the target scene. Compared with active 3D reconstruction, the camera equipment used in passive reconstruction technology has the advantages of low energy consumption and no direct contact with the real scene. In addition, with the popularity of digital cameras and smart phone lenses, the cost of camera hardware has decreased significantly over the past decade. This means that most people can have a camera and can contribute data to visual databases around the world. Organizing and using these rich and diverse photo data, and reconstructing high-precision, real three-dimensional models, has a very wide range of application scenarios.

6. 工作目标：通过注意力机制解决上述问题。

7. 核心思想：

1. We propose a new feature extraction module based on triple dilated convolution with attention model to solve the problem of insufficient extraction of surface feature.
2. Compared with traditional weighted average method, we propose a novel const-volume method that integrates attention mechanism to reduce the impact of matching errors to improve the accuracy in matching stage.

8. 实验结果：

The proposed method outperforms the state-of-the-art method in dynamic areas with a significant error reduction of 21.3% while retaining its superiority in overall performance on KITTI. It also achieves the best generalization ability on the DDAD dataset in dynamic areas than the competing methods

9.论文下载：

Frontiers | A-SATMVSNet: An attention-aware multi-view stereo matching network based on satellite imagery (frontiersin.org)

https://github.com/MVSer/A-SATMVSNet

二、实现过程

1. 综述

在卫星MVS任务中，目标是利用N−1个相邻视图与相应相机参数之间的匹配关系，使用端到端的从粗到精的框架来预测高度图H。

2. 注意力感知多尺度特征提取模块

下图显示了带有注意力模块的编码器网络中详细特征提取层的架构。首先，使用3×3核大小的卷积层提取特征;之后，将特征图输入到三个不同的扩张卷积层，扩张率分别为2、3和4。然后，将所有三个输出的特征图发送到带有注意力模块的3×3卷积层。最后，将三个输出的特征图连接起来，生成一个新的特征图，作为最终的特征图。三重扩张卷积的表达式是：

 其中⊗表示乘法运算，⊙表示元素积，wi表示展开卷积的第i个权值。

图B显示了注意力模块的结构。输入特征图定义为Fin，使用两个核为3×3的卷积层来生成进一步的特征Fin_1。然后，使用sigmoid函数获得注意力权重，定义为Fw。最终输出特征定义为Fout，计算为：

图C是解码器网络的结构，由核大小为3×3、步长为2的反卷积层和步长为1的卷积层组成。

3. 有理多项式相机模型(RPC)

有理多项式相机模型(RPC)在卫星图像处理中得到了广泛的应用，它用三次有理多项式系数将图像点与对应的世界坐标点连接起来。将世界坐标定义为(latn,lonn,hein)，代表纬度、经度和高度。相应的归一化图像坐标定义为(sampn,linen)。Pfwd和Pinv都是三次多项式。世界坐标与图像坐标的变换如下图所示：

在基于卫星图像的多视点立体匹配任务中RPC模型是一种应用广泛的几何模型，可以为严密的传感器模型(RSM)提供较高的精度。​

​4. 可微分RPCwarping

与针孔相机模型相比，三次有理多项式相机(RPC)模型在卫星领域得到了广泛的应用，它比投影相机、仿射相机和线性推扫式相机等所有相机模型都具有优势。由于RPC模型的复杂性，单独的矩阵不能表述RPC模型的warping。在这方面，SatMVS提出了一个严格而高效的RPCwarping模块，该模块本质上是一个高阶张量变换，这是SatMVS结构的基础。使用世界坐标系统中的一组假想高度平面，RPCwarping模块将不同视图的图像投影到参考视图，而不是参考视图的正面平行平面，因为RPC模型不包括定义摄像机前部的显式物理参数。

首先，SatMVS利用三次多项式将三元三次多项式变换为四元数三次齐次多项式f (x1,x2,x3,x4) =∑(aiajak)⋅xixjxk，其中aiajak (i,j,k∈{1,2,3,4})。X被表示成一个张量，它由四个变量X组成
1,x2,x3,x4，即1:X = (x1,x2,x3,x4)T。T也表示为多项式系数，其形状为4 × 4 × 4。张量收缩运算后，RPC模型的分子和分母定义如下：

扩展后，将点集RPC模型的表述定义如下：

其中，X(bm)表示第b批的第m个点，T(b)表示第b批的系数张量。通过元素划分，可以一次计算出批中所有点的RPC warping。

5. 特征体自适应聚合

先前的方法通过计算方差得到代价体。然而，同样重要显然是不合理的，因为“紫苑三号”卫星拍摄的卫星图像具有不同的拍摄相机角度，可能由于遮挡和非朗伯曲面等不同条件导致的匹配误差而影响特征体的置信度。因此，如下图所示，设计了一个自适应特征体聚合模块，为每个特征体计算一个聚合权重体，实现不等置信度聚合。

这样可以抑制可能导致匹配错误的像素，即像素对应的置信度被分配较低的权重，而具有关键特征信息的置信度被赋予较高的权重。还制定了自适应特征体聚合模块如下：

 其中⊙表示哈达玛乘法，ω(…)是根据每个代价体自适应产生的像素级注意力图。

6. 代价体正则化

代价体正则化(回归获得高度图)可以看作是一个分割问题，使用通常用于语义分割任务的UNet来处理。因此，与之前用于代价体正则化的UNet形状网络类似，采用类似的多阶段3D UNet从一个由三个阶段(下采样、瓶颈、上采样)组成的大感受野中聚合相邻信息。

7. 实验

7.1. 数据集

TLC SatMVS

7.2. 实现细节

此外，批大小设置为4，并在4台NVIDIA GTX 2080 GPU设备上训练模型。采用度量标准(MAE, RMSE， < 2.5m，< 7.5m, Comp和Runtime)以评估模型获得的高度图的质量。