三维场景重建：VisFusion: Visibility-aware Online 3D Scene Reconstruction from Videos

源码学习见专栏置顶～

论文作者：Huiyu Gao,Wei Mao,Miaomiao Liu

作者单位：Australian National University

论文链接：http://arxiv.org/abs/2304.10687v1

项目链接：https://github.com/huiyu-gao/VisFusion

内容简介：

1）方向：三维场景重建

2）应用：计算机视觉、虚拟现实、增强现实等领域

3）背景：本文提出了一种名为VisFusion的在线三维场景重建方法，旨在从单目视频中重建场景的体积特征。与以往的重建方法不同，该方法考虑了体素的可见性，通过计算每个图像对中的投影特征的相似性矩阵来显式推断其可见性，从而提高了特征融合的效果。

4）方法：本文提出的模型是一个由粗到细的流程，包括体积稀疏化过程。与以往的方法不同，该方法在每个视觉射线上对局部特征体积进行稀疏化，以保留更多的细节信息。然后将稀疏的局部体积与全局体积进行融合，进行在线重建。此外，本文还提出了一种粗到细的方法来预测TSDF，通过学习不同尺度下的残差来提高TSDF的预测精度。

5）结果：实验结果表明，本文提出的方法可以在保留更多场景细节的同时，实现更好的性能。代码可在https://github.com/huiyu-gao/VisFusion上获取。