Unreal和Unity作为两大游戏引擎,应用于各种类型的3D场景开发,包括 AAA 级大作、独立游戏和虚拟现实(VR)/增强现实(AR)等类型项目,重塑去中心化的互联网平行世界。在 3D/XR 应用开发领域,传统的手机、平板和老式PC终端在渲染高帧率三维应用画面时面临着严峻挑战:高帧率渲染对处理器要求颇高,且需强大的图形处理单元GPU支持。然而,许多传统终端,特别是早期或低端设备,其硬件配置往往存在局限性,这使得它们难以流畅运行Unreal和Unity开发的高要求 3D/XR 应用。
3D/XR 应用高渲染挑战与应对
现代 3D/XR 应用集成了更复杂的物理效果、逼真的光线追踪以及更高级的材质和纹理,加剧了渲染的复杂性。对于传统终端而言,要完美呈现这些效果,不仅需要更强的算力,还需要更高的内存带宽和更快的数据读取速度。
除此之外,软件优化同样关键。在未经充分优化的应用中,即便配备顶级硬件,也可能无法实现理想性能。因此,开发者需持续优化代码,保障 3D/XR 应用在各类终端上都能有出色表现。
为解决3D/XR应用高渲染要求给传统终端带来的挑战,云渲染、边缘计算、云桌面、串流等各种技术路线应运而生,力求使用户以最低门槛、最佳体验享受到极致流程且沉浸感高的数字场景。
本文以Unreal引擎为例,讲解在UE自带的串流插件Pixel Streaming之上的云化技术路线,具有产品化、商业化和平台型的服务理念,即实时云渲染技术方案。
实时云渲染实现UE应用一键上云web访问
实时云渲染的技术理念是充分发挥云计算所具备的强大算力优势,通过把渲染任务从传统终端迁移至云端这一方式,极大程度地降低了终端设备的硬件门槛。
在这种云端渲染模式下,用户设备的角色发生了重大转变,它不再承担繁重的图形渲染工作,仅仅充当显示和输入的接口。当用户在自身设备上启动3D/XR应用程序时,全部的计算与渲染操作都将在云端服务器展开。这些云端服务器配备了顶尖的处理器和高性能GPU,凭借强大的性能,可以毫不费力地应对高度复杂的渲染任务。在完成渲染之后,云端服务器会将画面实时传输回用户设备,从而为用户带来近乎原生应用般的优质体验。
为了完成云、网、端三级的实时云渲染全流程覆盖,针对每个阶段有至少一个核心技术点做支撑:
-
GPU资源池化
实现GPU资源的池化与动态调度。通过拦截 DX、OpenGL 实现 GPU 高效利用与资源共享,保障设备进程隔离,支持多卡多应用渲染的同时,实现虚拟与物理 GPU 高效调度提升效率。
-
网络拥塞控制优化
系统可实时估算网络、图像和帧率,结合专利 Qoe 感知拥塞控制器与自研算法,动态调整码率,考虑网络状态封装数据,应对多种问题,保障最佳用户体验
-
多终端强兼容
封装多种协议,确保客户端音视频解码,操作指令发至云端。客户端 SDK 支持多平台,与伙伴合作兼容主流终端,使 SR、VR、AR、MR 等三维应用在平台上均获兼容支持。
不同于Pixel Streaming,实时云渲染在技术串流基础上,具有平台化的功能属性和无需改动代码开箱即用的用户友好性,LarkXR自带Cloud XR PaaS管理平台,实现GPU集群的大规模商业化集群部署。
在通用型 PaaS 平台上,LarkXR 嵌入多行业适用的功能组件。与 UE 紧密相关的有数据通道、音频视频通道、直播推流、互动模式四个核心组件,用于解决音视频数据传输、云端与客户端之间虚拟通道、直播云会议和展示教学等场景。
实时云渲染与Pixel Streaming的关系
对于已经集成了Pixel Streaming像素流送插件的3D/XR应用,整体部署流程也非常方便:
XR客户端请求启动应用接口分配渲染节点,与信令服务器连接握手后,通过其请求启动像素流送插件和 UE 三维应用,将数据画面流推至 LarkXR 客户端。此过程中像素流送负责串流,其他功能由 LarkXR 补充。
Paraverse平行云作为国际领先的数字平行世界云渲染服务商,十年前率先在行业内提出以云端渲染能力为核心的解决方案,并通过自主研发的LarkXR实时云渲染平台产品,覆盖了XR行业内90%以上的使用场景,汇聚全球数万名开发者,为数千家企业提供了优质服务。LarkXR 集成像素流送技术,助力 UE 开发者低代码或无改动上云,既保留 UE 引擎强大开发能力与精美画面,又实现终端轻量化、使用便捷、部署简单,实现UE引擎开发的3D/XR应用使用Web浏览器一键式交互访问。