使用Cloud XR渲染复杂模型，AR应用使用asynchronous timewrap技术模型呈现

本文链接：https://blog.csdn.net/grace_yi/article/details/109293350

VR服务主要可以分为两类：

1、线性服务：通过VR头显观看预制或实时录制的VR影院视频。用户改变自己的姿态，都不会影响视频渲染，因为没有与虚拟世界中的对象进行交互。360度视频就是一个典型的例子。

2、互动服务：VR图像实时呈现是根据用户的移动和控制器的输入。用户与虚拟对象进行交互，并看到响应性变化的图像。VR游戏就是一个典型的例子。

这两种类型都可以通过云或边缘计算实现，我们简称为Cloud VR（各个云厂商提供的VR服务），在Cloud VR中实现互动业务时，云上有相当的计算能力来获得高质量的内容；可以处理高分辨率的立体图像以高帧率渲染。用户拥有用低廉的客户端体验高端VR体验。最近在做AR的项目，由于复杂的模型在手机端无法渲染，借鉴Cloud VR的思路，在AR项目中，复杂的模型在云上进行渲染，手机端进行呈现。交互式VR/AR业务我们简称交互式XR业务。

然而，交互式XR业务存在时延问题，而本地XR业务也存在问题，但在云XR业务中，时延问题要严重得多。在cloud XR中，由于网络传输耗时巨大，预计会出现较大的不一致现象。此外，由于网络带宽有限，XR图像需要经过编码（压缩）才能通过网络传输，然后需要客户端（VR头显、手机）解码才能扫描出来。这些额外的编码和解码步骤进一步增加了延迟。

为了降低时延的影响，在VR中，会使用一种具有代表性的技术timewrap技术，就是在将渲染的图像扫描到显示面板之前，将图像扭曲到用户的最新视图。因此，它最大化了用户期望的视口和所显示的图像之间的一致性。今天重点介绍一下asynchronous timewrap(ATW)技术在Cloud AR中的使用。

时间扭曲是一种技术，可在将渲染的图像发送到显示器之前对渲染的图像进行扭曲，以校正场景渲染后发生的头部运动，从而减少感知到的延迟。它的基本形式是仅定向时间扭曲，其中仅校正头部姿势中的旋转变化。这具有成为2D扭曲的显着优势，因此与失真传递结合使用时，不会花费太多性能。对于相当复杂的场景，这比渲染整个新帧所需的计算量少得多。

可以看到由于延迟，渲染的图像跟当前的最新viewport是匹配不上的，在做AR项目的时候，我们把上一帧渲染图像渲染上一帧的viewport，然后在当前的viewport显示上一帧的图片，造成了图片wrap的效果，使显示的更加真实。

具体的算法：

1、保存上一帧的V(view矩阵)，P（投影矩阵），以及当前帧的V(view矩阵)，P（投影矩阵）。

2、进行渲染时，根据上一帧的VP，求世界坐标。

3、在使用当前帧的VP，世界坐标，求得当前viewport的位置信息。

glsl代码如下：

//当前帧的VP矩阵
uniform mat4 inVPMatrix;

//上一帧的vp矩阵的逆
uniform mat4 inPreVPInverseMatrix;
uniform mat4 textureTransform;
attribute vec4 inTexCoord;
//当前像素的位置
attribute vec3 inPosXZAlpha;
varying vec2 varTexCoordAlpha;
void main() {
    varTexCoordAlpha = (textureTransform * inTexCoord).xy;
    vec4 tempPosition = vec4(inPosXZAlpha.x, inPosXZAlpha.y, inPosXZAlpha.z, 1.0);
	//根据上一帧的vp逆矩阵，求得世界坐标系
    vec4 worldPos = inPreVPInverseMatrix * tempPosition;
	//根据当前的vp矩阵，求得设备坐标
    vec4 updatedCamPos = inVPMatrix * worldPos;
    gl_Position = updatedCamPos;
}

实现的效果对比，在加入atw技术之前，镜头旋转时，人物跟着镜头旋转，然后在消失；优化之后，人物会根据角度消失，这个就是我们要的结果。

在这里插入图片描述