阅读文献-Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation

Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation

1.四个问题
要解决什么问题？
图像三维重建
用什么方法解决？
多度量金字塔深度聚合
引入
  1.提出了自适应视图聚合（逐像素视图聚合和体素），以较小的额外内存消耗合并来自不同视图的图像之间的元素差异，引导多个成本量聚合一个归一化的成本量。
  2.通过在PVA-MVSNet中的多度量金字塔深度图聚合来合并多尺度信息，以进一步提高3D重建的鲁棒性和完整性。其中利用多度量约束来聚合较粗尺度的可靠深度估计以填充更惊喜尺度上的不匹配区域。
效果如何
完整性和整体性在对比的几种方法中最高，准确性一般
还存在什么问题
文中的方法，VA-MVSNet和PVA-MVANet两种，前者速度快，消耗内存高，后者消耗内存低，速度慢
论文简介
摘要： 抽象的。 在本文中，我们提出了一种有效且高效的金字塔多视图立体 (MVS) 网络，该网络具有自适应视图聚合，用于准确和完整的密集点云重建。 与以前基于深度学习的 MVS 方法中使用均方方差来生成成本量不同，我们的 VA-MVSNet 通过引入两种新颖的自适应视图聚合：逐像素视图聚合和体素，以较小的额外内存消耗合并了不同视图中的成本差异 明智的视图聚合。 为了进一步提高 3D 点云重建的鲁棒性和完整性，我们使用金字塔多尺度图像输入扩展 VA-MVSNet 作为 PVA-MVSNet，其中利用多度量约束来聚合较粗尺度的可靠深度估计以填充 更精细尺度上的不匹配区域。 实验结果表明，我们的方法在 DTU 数据集上建立了新的最新技术，在完整性和整体质量方面有显着提高，并且通过实现与最先进方法相当的性能而具有很强的泛化能力。 坦克和神庙基准。 我们的代码库位于 https://github.com/yhw-yhw/PVAMVSNet
网络结构

自适应视图聚合

深度图估计
设计一个3D卷积U-Net，沿深度维度使用 softmax 操作生成概率体积P。
为了产生连续的深度估计，作者在输出概率volume P上使用soft argmin 操作来估计深度 E

其中P(d)表示深度假设d的所有像素的估计概率。概率图是通过3D概率体积中最近的四个假设的综合来计算的，以衡量估计质量。
多度量金字塔深度聚合

实验结果：