ViewCrafter

目录

ViewCrafter

DUSt3R 三维重建：

升级版MASt3R：

---

ViewCrafter

具体而言，给定单张或稀疏视角输入图像，团队首先使用快速多视图stereo方法构建其点云表征，以实现精准地移动相机进行自由视角渲染。

随后，为了解决点云渲染结果中存在的大面积缺失区域、几何失真和点云伪影，团队训练了一个以点云渲染结果为控制信号的视频扩散模型作为增强渲染器。

这一渲染器能在粗糙的点云渲染结果的基础上进一步生成具有高保真度和3D一致性的新视角。

通过结合点云提供的显式3D信息以及视频扩散模型的强大生成能力，新方法能够在视频生成过程中实现6自由度的精准相机位姿控制，并生成高保真度、一致性强的新视角视频。

地址：

GitHub - Drexubery/ViewCrafter: Official implementation of "ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis"

DUSt3R 三维重建：

【论文解读】CVPR2024：DUSt3R: Geometric 3D Vision Made Easy-CSDN博客

升级版MASt3R：

https://zhuanlan.zhihu.com/p/710098643

GitHub - naver/mast3r: Grounding Image Matching in 3D with MASt3R

     采取了不同的立场，将匹配视为 3D 任务，基于 DUSt3R，一个基于 Transformers 功能强大的 3D 重建框架。基于点图回归，该方法在匹配具有极端视点变化的视图时表现出稳健性，但准确度有限。本文目标在保持稳健性的同时提高匹配能力。因此，附加一个新的头部来增强 DUSt3R 网络，输出密集的局部特征，并使用额外的匹配损失进行训练。进一步解决密集匹配的二次复杂度问题，其对于下游应用非常慢。本文引入一种快速相互匹配（reciprocal match）方案，它不仅可以将匹配速度提高几个数量级，而且还具有理论保证，最后可以产生更好的结果。大量实验表明， MASt3R 在多个匹配任务上的表现明显优于最先进的方法。特别是在极具挑战性的无地图定位数据集上，它在 VCRE AUC 方面比最好的方法高出 30%（绝对的改进）