三维重建的神器，建模行业的福音

最新推荐文章于 2024-10-05 22:39:21 发布

Mapmost

最新推荐文章于 2024-10-05 22:39:21 发布

阅读量1.3k

点赞数 14

文章标签： 3d 计算机视觉

本文链接：https://blog.csdn.net/mapmost/article/details/137019087

版权

作者： hiowang

继春节期间，OpenAI推出了划时代的二维视频生成神器Sora之后，三维重建领域也迎来了一款一经推出短短几天就位列github榜第二的神器——DUSt3R。那么，DUSt3R为何如此火爆？下面就让我一一为你道来。

一、三维重建的前世今生

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。而计算生成三维物体一般有两类方法：一类是借助如3DMAX、Maya、AutoCAD、Blender等为代表的三维建模软件为基础，并通过人机交互的方式在计算中生成三维模型，这种技术目前已经相当成熟；而另一种则是通过传感器或其他手段获取真实世界中的物体的几何特征信息，然后构建三维模型，一般也称之为三维重建。

三维重建图，来源：3D视觉工厂

三维重建技术最早可以追溯到20世纪60年代，当时科学家们开始利用计算机图形学中的几何变换和投影技术来实现将从二维图像中恢复立方体、圆柱体的三维物体状态。此后随着计算机视觉发展和传感器设备的更新，陆续出现了纹理恢复形状法、立体视觉法、单目估计法等被动式三维重建技术和莫尔条纹法、飞行时间法、结构光法以及三角测距法等主动式三维重建技术。目前研究比较热门的就是立体视觉法，即：综合利用多个二维图像的图像信息以及相机位姿信息（位置、姿态）和相机内参信息（焦距、径向畸变、横向畸变）等一系列先验信息恢复出三维模型。由于相机参数获取困难，重建过程复杂，导致三维重建的质量和效率不佳。大家都翘首以盼能实现快速建立出高质量的三维模型。

二、三维重建神器DUSt3R横空出世

他来了，他来了，建模行业的"意中人"踏着七彩祥云来了。芬兰阿尔托大学和纳威尔欧洲实验室经过N个日夜的苦心研发，终于三维重建神器——DUSt3R横空出世。只需两张小熊玩偶照片，无需提供额外的信息数据，DUSt3R在两秒之间就能生成一个完整的三维模型。这惊人的速度和效果，让人不得不震惊于其所蕴含的价值和未来发展潜力。

三维小熊重建示意图，来源：腾讯新闻

那么这么一款三维建模神器，为什么模型重建得这么快又这么精细呢？

DUSt3R的核心在于点图。这是一种密集的包含了三维点信息的二维场。点图为每个像素提供了一个与之对应的三维点，从而在图像像素和三维场景点之间建立了直接的对应关系。使得DUSt3R无需提供额外的参数信息，就能建立二维点与三维空间点的映射关系。

DUSt3R点图映射关系，来源：论文

DUSt3R又是基于标准的Transformer编码器和解码器构建其网络架构。Transformer这种网络架构能够允许模型利用强大的预训练模型，从而在没有显式几何约束的情况下，从输入图像中学习到丰富的几何和外观信息。为DUSt3R能够高效地学习图像信息奠定基础。

DUSt3R还建立了端到端训练方式。端对端的训练方式相较于其他的训练方式，其能够直接从图像对中学习到点图，而不需要进行复杂的多步骤处理，如特征匹配、三角测量等。这样就能避免因复杂繁琐的处理过程带来的精度和质量损失，生成的模型精细化程度高。

DUSt3R算法原理，来源：论文

DUSt3R并且还提出一种全局对齐策略和多任务同步学习机制。通过全局对齐策略，将所有成对点图表达在共同的参考框架中，并在训练过程中同时学习深度估计、相机参数估计、像素对应关系等多个相关任务，在建立模型过程中，既能快速处理多图像对，又能全面估计模型的几何特征结构。正是因为这种策略机制，使得DUSt3R只需几秒就能够实现三维模型的生成，使得模型生成效率“遥遥领先”。

DUSt3R模型重建效果，来源：论文

三、DUSt3R神器为三维模型应用行业赋能增效

DUSt3R的出现，为三维重建任务提供了一种简单而高效的解决方案，让用户可以更轻松地完成相关工作。其优异的性能和快速的重建速度为用户带来了前所未有的便利，为三维重建领域提供了新的风向标，也为三维模型应用行业赋能增效。

为游戏行业赋能增效。游戏行业业特别是开放世界等大型游戏行业，由于生产门槛较高，目前仍需要较多的建模、美术等相关成本支出，DUSt3R的快速建模技术能够显著提升效率，增加优质游戏和开放世界等大型游戏的供给。可以预见的是，在未来人们能够玩到更多自由度高、个性化强的游戏。

游戏人物模型，来源：雪球网

为数字孪生城市建设行业赋能增效。我们在使用Mapmost快速搭建数字孪生城市场景过程中，迫切需要大量的城市室内外建筑模型和城市基础设施模型作为智慧城市基底。传统的人工建模时间周期长、DUSt3R的出现，将大大地减少了搭建场景所需的建模时间，极大地缩短了数字孪生城市场景建设周期。

为VR虚拟现实行业赋能增效。通过DUSt3R的三维快速建模技术，人们能够快速构建360度的幻觉空间，使得原本需要大量时间构建虚拟现实空间，虚拟人物样式固定的历史将不复存在，取而代之的是自由度高、可探索性强的虚拟现实新面貌。

VR虚拟世界模型，来源：雪球网

参考资料：

关注Mapmost，持续更新GIS、三维美术、计算机技术干货

Mapmost是一套以三维地图和时空计算为特色的数字孪生底座平台,包含了空间数据管理工具(Studio)、应用开发工具(SDK)、应用创作工具（Alpha）。平台能力已覆盖城市时空数据的集成、多源数据资源的发布管理，以及数字孪生应用开发工具链，满足企业开发者用户快速搭建数字孪生场景的切实需求，助力实现行业领先。

欢迎进入官网体验使用：Mapmost——让人与机器联合创作成为新常态