DUSt3R部署+体验

最近新出的DUSt3R在几张图片的情况下，快速输出3D模型，所以来体验下。

简介

DUSt3R，一种用于任意图像集合的密集和无约束立体 3D 重建的全新范例，即在没有有关相机校准或视点姿势的先验信息的情况下进行操作。DUSt3R 使几何 3D 视觉任务变得简单。

说人话，就是传统的相机姿势估计那一套我不用，但是也可以准确找到相机姿势。

部署

官方的部署文档很全也很简单。依次按照操作即可。

注意pytorch的安装需要根据自己的GPU替换命令。命令可在pytorch官网进行下载。

模型下载

官方部署文档页面提供了3个模型，但是下载最后一个模型即可。后续命令默认的模型也是最后一个。

体验

GUI-demo

我尝试运行demo，GUI没有运行起来，也没有报错，不知道什么原因。

python3 demo.py --weights checkpoints/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth

脚本体验

新增一个test.py，将官方文档的Usage脚本贴进去，替换图片路径。

执行脚本，结果自动弹出：

训练

暂时没有想法进行训练，不做说明。

评价

1、速度确实快

2、效果，没那好，因为是点状的，而且比较稀疏，稍微拉大一点就是点云了，就看不清楚内容了。