基于真实环境的元宇宙场景搭建关键技术发展态势研究

摘要

基于真实物理环境构建的元宇宙场景是连接物理世界与数字世界的重要桥梁,也是实现数字孪生到虚实共生的重要途径。围绕三维重建、渲染等元宇宙场景搭建关键环节,总结了当前主流技术路径与创新态势,讨论了相关领域基于人工智能的优化提升以及神经渲染技术模型研究、理论优化等,分析了关键软硬件产品应用格局、创新方向,并提出了当下我国技术创新发展的建议。

关键词： 元宇宙; 三维重建; 渲染; 神经渲染; 神经辐射场

0 引言

元宇宙综合了人工智能、空间计算、虚拟现实、区块链、数字资产等关键技术,是以人为中心、3D沉浸式、开放式的互联网新业态,自2021年元宇宙概念爆发以来,相关技术创新与应用模式快速发展,已成为孕育下一代互联网新元素、新业态、新趋势的起点。

从过去数十年互联网发展的历程来看,公众获取信息与交互的方式经历了以文字、图片、视频等为载体的二维时代,目前以元宇宙为核心载体的新一代互联网加速了三维信息传递与交互方式的创新,全方位提升了沉浸式的交互体验,同时在时间和空间上融合了物理世界和虚拟世界的信息,极大地拓宽了人类认知与影响社会生产生活的边界,将推动人类生活方式、社会分工、信息传播的演变。在元宇宙的发展过程中,从数字孪生到虚实共生是必经阶段,其要求在虚拟世界中对物理世界进行真实复刻与再现,并打通双向流动的数据通道,实现物理世界同虚拟世界的数据互通、协同联动。

围绕这一重要创新方向,元宇宙相关的各类关键技术正处于创新的快车道,其中综合了计算机图形学、计算机视觉等诸多领域的关键技术,基于真实物理环境的元宇宙场景搭建是元宇宙应用沟通物理世界和虚拟世界的重要桥梁,当前主流实现方式是通过对三维物体、物理场景的图像拍摄、雷达扫描等方式获取三维环境的几何、纹理、光照等表达信息,通过人工或自动方式复原场景三维结构与表面信息,实现三维空间表达,并通过可视化渲染技术最终服务于元宇宙应用创建。2020年以来,卷积神经网络(Convolutional Neural Networks,CNN)、生成式对抗网络(Generative Adversarial Networks,GAN)等人工智能技术逐步应用于元宇宙场景搭建,为三维重建和渲染中的数据处理、表面材质还原等提供了高效的辅助手段。同时,以神经辐射场(Neural Radiance Field,NeRF)为代表的神经渲染技术创新热度空前,其创新性地借助多层感知机(Multilayer Perceptron,MLP),采用隐式几何表达方式,将三维重建同渲染过程分离,实现了更加真实、细致的环境复现。尽管目前神经渲染相关技术仍处于理论研究与产业化初期阶段,但一系列典型行业应用与新产品的初步探索均表明,这一技术创新方向将为未来三维重建领域特别是元宇宙应用的场景搭建提供巨大的技术支持。

1 场景搭建关键技术

基于真实环境的元宇宙场景搭建的主要过程包括三维重建与渲染,三维重建致力于由计算机对物理实体、环境建立三维几何表达;渲染致力于将三维几何表达经过光线处理与着色输出为可视化二维表达。二者相结合实现了从真实世界到虚拟世界的映射以及多视角的观察与交互。

三维重建与渲染两个过程,具体涵盖空间物理信息获取(图像获取)、相机标定、特征提取与匹配、表面重建、语义化分割、模型的人工或自动修正、相机与光源标定、光栅化或光线追踪、着色等关键环节,其搭建流程如图1所示。

图1

图1   基于真实环境的元宇宙场景搭建流程

 

1.1 三维重建过程

在三维重建领域,当前主流的三维重建技术路线包括主动式和被动式两大类,主要特征如表1所示。主动式三维重建需要先通过特定硬件投射出预设的信号,经由物体的反射后再被特定传感器捕捉,主要包括结构光、激光等,其优势是借助精密、复杂的特殊设备进行三维信息的获取,能够较为精细地恢复物体、场景的三维特征,但其成本较高、流程较为复杂;被动式三维重建利用周围环境如自然光的反射,使用相机获取图像,然后通过特定算法计算得到物体的立体空间信息,主要包括单目三维重建、双目或多目立体视觉等,其优势是成本较低、对硬件设备要求不高,但成像精度较低。

表1   主流三维重建技术特征

方式		优势	劣势
主动	结构光	三维结构、颜色、纹理复原精度高	易受环境光干扰
	飞行时间法	受环境光干扰小、成像速度快	价格较高、精度低
被动	单目视觉	算法成熟、计算量小、易部署	三维结构获取精度低,误差较大
	多目视觉	成本较低,三维结构获取精度高	计算量大

新窗口打开| 下载CSV

主动式和被动式的三维重建技术,主要通过图像采集技术获取信息,并搭建了以点云、网格等显式几何表达形式构建的三维结构,其特点是能够清晰直观表示复杂物体的三维信息。但当前主流的三维重建技术仍然面临诸多挑战,例如三维重建结果仍需要耗费较高人力资源进行修正;面向多个对象组成的场景时,识别对象的几何形状与拓扑关系还存在精度不高、识别有误差等问题。

近年来,以深度学习为代表的人工智能技术加速创新,在三维重建中对数据质量管理、模型修复、三维语义分割等方面应用探索众多,相关理论探索与应用快速涌现。例如运用人工智能技术对获取原始数据中存在的色彩差异大、纹理模糊等问题进行自动预测修复,提升三维模型质量;通过图像分层等方式运用神经网络学习三维场景的对象拓扑信息,实现高效、精细场景的几何细节复原。