[Metaverse]体积视频的前世今生

[DgiWorld数字世界-1]体积视频的前世今生

DgiWorld数字世界系列专栏主讲元宇宙中各种相关的技术发展现状、介绍相关技术的基本原理，帮助人们更好的认识所谓的元宇宙技术发展到什么地步了，未来我们还有哪些路需要走，面对充满无限可能的科幻未来还有多久，我们普通人在其中将会扮演什么样的角色？订阅专栏掌握最新动态，今天让我们走进该系列的开篇之作《体积视频的前世今生》。

一、什么是体积视频？

体积视频也叫空间视频、容积视频等，英文名称Volumetric Video。

体积视频是一种同时从多个视点（通常包括人或物体）捕获三维 （3D）场景的技术，为观众创造逼真的沉浸式体验。它使用相机、传感器和软件的组合从多个角度捕获和处理数据，从而生成捕获场景的 3D表示。体积视频使观众能够四处走动并与虚拟环境互动，提供比传统视频更具沉浸感和吸引力的体验。体积视频生成的未压缩数据非常大，并且取决于场景中存在的对象（通常是人）的数量。

2008 年，Radiohead 发布了仅使用点云可视化的纸牌屋（House of Cards）音乐视频，可以认为是当下体积视频的雏形。自 2010年以来，开源社区黑客和开发人员帮助开放了微软的硬件设备驱动，使得微软的设备可以用于各种实验，以创建自己的体积内容。


2019年，Google发布新一一代的LightStage X:Relightable system，通过布局在各个角度的相机配合灯光进行同步采集生成三维模型序列从而进行播放。

三、体积视频有什么优势？

了解了体积视频的特点后，我们即可从中得知，体积视频是空间中的模型，通过模型可以建立资产，而模型就具备了360°无死角的观看，将完全改变人们对多媒体的交互方式，可用于AR\VR和其他应用场景，颠覆了现有的普通2D视频，是未来视频技术的趋势。
在消费级别，捕获体积视频可以只包括一个深度相机，在生产级别，这可能包括大量的相机，几十台或上百台相机指向目标场景，并且有相同数量的深度相机用于捕捉深度信息，进一步生成点云。将所有的数据进行融合，从而可以得到体积视频。

四、如何拍摄体积视频

体积视频的获取相比传统相机拍摄方式更为复杂，我们将从以下几点为您展开介绍：捕获、处理、压缩和回放

1、数据捕获

目前常见的体积视频数据捕获方案有如下几种：有四种方法可以执行体积捕获：飞行时间(ToF)，结构光，摄影测量和多视图深度以及立体视差。在此步骤中，一个人或场景被十几个体积摄像机包围。

飞行时间

这通过发射红外光并测量从相机到被捕获者的距离来生成颜色和深度图像。Microsoft的Azure Kinect相机使用飞行时间。

摄影测量和多视图深度

该技术使用多个彩色相机来生成被捕获者的深度图像或点云。相机生成深度和彩色图像。

结构光

这使用两个可以检测红外线的单色相机、一个彩色相机和一个将红外点投射到场景中的激光。该技术生成深度图像和彩色图像。英特尔的发布摄像头使用结构灯。

立体视差

该技术使用两个彩色相机来模拟左眼和右眼，并从其中一个彩色相机生成深度图像和单色图像。

2、数据压缩

3D 模型经过压缩，因此可以通过网络进行流式传输。有三种不同的压缩方法：网格、点云和深度和UV贴图压缩。
数据压缩主要包括：网格压缩、点云压缩、深度和UV贴图的压缩
网格压缩：此技术通过一系列帧压缩网格的数据，以便可以通过网络流式传输它们。设备需要解压缩网格，但不必从头开始生成网格。

深度和 UV 贴图压缩：此技术在帧上压缩深度贴图和 UV 贴图，以便它们可以通过网络流式传输。然后，设备必须生成点、网格或体素来渲染设备。

点云压缩：此技术通过一系列帧压缩点，以便可以通过网络流式传输它们。设备将按原样呈现解压缩点;生成网格并渲染网格;将点转换为体素并渲染体素。

3、数据回放

4 种播放模式是：传统 2D 视频、大屏幕电视上的 3D 渲染、XR 设备上的 3D 渲染和智能手机上的 3D 渲染。

传统2D视频：
这种技术可以将体积捕获的模型与电影/电视节目中的SFX相结合，并仅输出2D视频，以便它可以成为电影或电视节目的一部分。另一个例子是现场体育赛事，其中虚拟摄像机可用于生成游戏中发生的亮点，并且亮点可以显示在体育场的大屏幕电视上。

XR 设备上的 3D 渲染：
该技术允许将3D模型发送到AR或VR设备，该设备允许观看者在3D模型周围走动和/或将3D模型混合到现实世界中。

大屏幕电视上的 3D 渲染：
这种技术将 3D 模型发送到游戏机、机顶盒/流媒体棒或智能电视。观看者可以使用遥控器通过选项菜单选择他们想要的透视类型。观看者还可以使用游戏控制台来控制渲染 3D 模型的虚拟摄像机。

智能手机上的 3D 渲染：
该技术允许用户使用智能手机的触摸屏在3D模型周围移动，或使用智能手机内置的AR将3D模型投影到现实世界中。

写在最后

想象一下，100个摄像机围绕着一个体育场的足球场。所有球员和球迷都被实时捕获。观众可以随时暂停、倒带甚至以慢动作观看游戏。使用VR耳机，观众可以在体育场的任何地方行走，包括球场。

使用XR设备，观众可以将游戏投影到咖啡桌上，并在客厅观看比赛。观众还可以在他们的大屏幕电视上观看比赛，并使用他们的遥控器或游戏控制器像视频游戏一样改变摄像机角度。

想象一下，生病的患者可以去他们的普通医生办公室，那里有一个体积捕获室，可以以 3D 形式流式传输它们。数百英里外的专科医生将戴上VR设备，能够在患者周围走动，从各个角度检查他们。他们可以立即确定是否需要长途跋涉进行亲自访问。

公司还可以使用体积技术来允许客户尝试虚拟产品。例如，可以将人捕获为3D模型，然后鞋业公司可以创建该节目的3D版本，以允许该人在购买鞋子之前虚拟试穿鞋子。这可以是足球比赛等活动的一部分，其中鞋子制造商是活动的赞助商，让球迷可以看到穿鞋的感觉，但也可以在AR中投影到足球场上。

SFX和虚拟制片耗时的技术，如转描和合成，手动将2D视频与3D环境和3D模型相结合。立体视频可以利用熟悉的行业工具简化 SFX 和虚拟制片工作流程。

例如，灯光导演可以实时调整演员和3D环境的光照。即时查看结果的能力可以节省时间和金钱，并允许创意团队从头到尾参与其中。

元宇宙
使用体积视频，可以将整个环境转换为 3D 模型并放置在元宇宙中。例如，可以捕获真实的足球比赛并将其放置在元宇宙内的虚拟体育场中。球迷可以与元宇宙中的其他球迷联系，为他们最喜欢的球队加油。

想象一下，将现场音乐会带入元宇宙，并在虚拟场地中重现粉丝体验。来自世界各地的音乐会观众可以体验表演者的体积捕捉，并通过空间音频、虚拟烟花和其他 3D 功能进行增强。